爬取百度图片

淡淡回忆

1. import requests
   
2. import re
   
3. import os
   
4. from concurrent.futures import ThreadPoolExecutor
   
5. 
   
6. class GetImages:
   
7.     middle = []
   
8.     headers = {
   
9.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'
   
10.     }
    
11.     inp = None
    
12.     num = None
    
13.     url = 'https://image.baidu.com/search/acjson'
    
14.     #初始化数据
    
15.     def __init__(self):
    
16.         self.inp = input('请输入搜索的名称：')
    
17.         self.num = int(input('请输入要下载的页数(30为1页)：'))
    
18.         if self.findurl():
    
19.             self.thread()
    
20.             print(f'文件存放在当前路径下 "{self.inp}" 文件夹内')
    
21.     #获取图片链接
    
22.     def findurl(self):
    
23.         for i in range(30, 30 * self.num + 1, 30):
    
24.             # print(i)
    
25.             params = {
    
26.                 'tn': 'resultjson_com',
    
27.                 'ipn': ' rj',
    
28.                 'ct': '201326592',
    
29.                 'fp': 'result',
    
30.                 'queryWord': self.inp,
    
31.                 'ie': 'utf-8',
    
32.                 'oe': 'utf-8',
    
33.                 'word': self.inp,
    
34.                 'cg': 'girl',
    
35.                 'pn': i,
    
36.                 'rn': '30',
    
37.             }
    
38.             imgres = requests.get(url=self.url, headers=self.headers, params=params)
    
39.             code = imgres.status_code
    
40.             if code == 200:
    
41.                 html = imgres.text
    
42.                 for each in re.findall('"middleURL":"(https://.*?)"', html):
    
43.                     self.middle.append(each)
    
44.         return self.middle
    
45.     #线程函数
    
46.     def thread(self):
    
47.         pool = ThreadPoolExecutor(max_workers=300)
    
48.         for eachurl in self.middle:
    
49.             pool.submit(self.download, eachurl)
    
50.         pool.shutdown()
    
51. 
    
52.     # 保存图片下载到本地
    
53.     def download(self,eachurl):
    
54.         name = eachurl.split('/').pop()
    
55.         if not os.path.exists(self.inp):
    
56.             os.mkdir(self.inp)
    
57.         try:
    
58.             with open(f'./{self.inp}/{name}', 'wb') as f:
    
59.                 img = requests.get(url=eachurl, headers=self.headers)
    
60.                 f.write(img.content)
    
61.                 print(f'图片： [ {name} ] 保存成功')
    
62.         except:
    
63.             pass
    
64. GetImages()

复制代码