手把手带你制作一只百度图片爬虫

Daniel_Zhang

举例说明一下喔，百度搜索 mm 图片，然后百度图片里面就出来了好多图片。这里就不贴图了，自行脑补。

chrome在搜索出来的图片页面点击检查



如上图，点击 Network，点击 XHR，刷新页面，就会发现几个 acjson?tn=resultjson_com 的文件



在搜索结果那个页面往下滑，就会更多的 acjson?tn=resultjson_com 的文件

点击其中一个，右侧有网址，Request URL，打开

哇，里面好多 .jpg 格式的文件！！！

可是，为什么就这几个.jpg 文件呢

返回刚才的页面，一次对比每一个 acjson?tn=resultjson_com 开头的文件的 Request URL，神似有没有





唯一不同的是这个部分



30, 60, 90, 120...

等等，这不会就是传说中的等差数列吧？（红色圈圈后面的字符去掉，也可以导向到网页的，删掉后面的东西就可以了，应该是的）

盲猜是加载第几张到第几张图片用的

那么

for loop 一下，每次 open 一下 URL，那岂不是

所以，授人以鱼不如授人以渔

接下来要开始写代码了



在刚才的浏览器页面中，我们滑到最底下，会发现上图中的数据

那么久开始根据这些数据来写代码啦~

一共有三个 python 文件，请放置在同一个路径下~请尽量使用相同的文件名，或者请更改模块调用时的文件名，否则将会报错

spider.py

1. import json, requests, ssl
   
2. 
   
3. headers = {
   
4. 'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
   
5. 'Accept': 'text/html'
   
6. }
   
7. 
   
8. def get_image_link(url):
   
9.     ssl._create_default_https_context = ssl._create_unverified_context
   
10.     r = requests.get(url, headers=headers).text
    
11.     res = json.loads(r)['data']
    
12.     link_list = []
    
13.     for each in res:
    
14.         try:
    
15.             link_list.append(each['thumbURL'])        # 从字典里找到 thumbURL 对应的值，即 .jpg 文件对应的路径，并且放进 list 里面
    
16.         except KeyError:
    
17.             pass
    
18.     return link_list
    
19. 
    
20. if __name__ == '__main__':
    
21.     url = input('enter\n')
    
22.     get_image_link(url)

复制代码

save_image.py

1. import os, random, time, random, spider
   
2. import urllib.request as u_request
   
3. 
   
4. def save(new_pic):
   
5.     folder = 'image'
   
6.     try:
   
7.         if folder not in os.getcwd():        # 如果文件夹不存在，则创建并前往文件夹；否则将创建一个随机的文件夹并进入
   
8.             os.mkdir(folder)
   
9.             os.chdir(folder)
   
10.     except FileExistsError:
    
11.         random1 = round(random.uniform(0,1),8)
    
12.         folder += str(random1)
    
13.         os.mkdir(folder)
    
14.         os.chdir(folder)
    
15. 
    
16.     count = 0
    
17.     for each in new_pic:
    
18.         try:
    
19.             req = u_request.Request(each, headers = spider.headers)
    
20.             response = u_request.urlopen(req)
    
21.             cat_image = response.read()
    
22.             filename = each.split('/')[-1]
    
23.             with open(filename,'wb') as f:
    
24.                 f.write(cat_image)
    
25.             print(each)
    
26.         except OSError as error:
    
27.             print(error)
    
28.             continue
    
29.         except ValueError as error:
    
30.             print(error)
    
31.             continue
    
32.         sleep_time = round(random.uniform(0,0.05),5)
    
33.         time.sleep(sleep_time)
    
34. 
    
35.         count += 1
    
36.         print("successful: " + str(count) + '/' + str(len(new_pic)))

复制代码

baidu_spider_main.py

1. import requests
   
2. from urllib.parse import urlencode
   
3. import spider, save_image, time, random
   
4. 
   
5. name = input("请输入您需要爬取的图片信息：\n")
   
6. pages = input("请输入您想要下载的页数：\n")
   
7. 
   
8. while not pages.isdigit():
   
9.     pages = input("请重新输入您想要下载的页数：\n")
   
10. 
    
11. bef_url = 'https://image.baidu.com/search/index?'
    
12. 
    
13. data = {
    
14.     'tn': 'resultjson_com',
    
15.     'logid': '7786358177497367672',
    
16.     'ipn': 'rj',
    
17.     'ct': '201326592',
    
18.     'is': '',
    
19.     'fp': 'result',
    
20.     'queryWord': '',
    
21.     'cl': '2',
    
22.     'lm': '-1',
    
23.     'ie': 'utf-8',
    
24.     'oe': 'utf-8',
    
25.     'adpicid': '',
    
26.     'st': '-1',
    
27.     'z': '',
    
28.     'ic': '',
    
29.     'hd': '',
    
30.     'latest': '',
    
31.     'copyright': '',
    
32.     'word': '',
    
33.     's': '',
    
34.     'se': '',
    
35.     'tab': '',
    
36.     'width': '',
    
37.     'height': '',
    
38.     'face': '0',
    
39.     'istype': '2',
    
40.     'qc': '',
    
41.     'nc': '1',
    
42.     'fr': '',
    
43.     'expermode': '',
    
44.     'force': '',
    
45.     'pn': '0',
    
46.     'rn': '30',
    
47.     'gsm': '1e',
    
48.     '1561022599290': '' # 时间戳
    
49. }
    
50. 
    
51. if __name__ == '__main__':
    
52.     for each in range(30, int(pages), 30):
    
53.         millis = int(round(time.time() * 1000)) # 生成时间戳
    
54.         data['word'] = name        # 搜索关键词
    
55.         data['queryWord'] = name        # 搜索关键词
    
56.         data['pn'] = each   # 翻页
    
57.         data.popitem()  # 去掉最后一个元素，即旧的时间戳
    
58.         data[millis] = ''   # 添加新的时间戳
    
59.         hex_num = hex(each)[2:]
    
60.         data['gsm'] = hex_num
    
61.         url = bef_url + urlencode(data)
    
62.         image_list = spider.get_image_link(url)
    
63.         save_image.save(image_list)
    
64.         sleep_time = round(random.uniform(0.5,2),4)
    
65.         time.sleep(sleep_time)        #设置一个睡眠时间

复制代码

Daniel_Zhang

以下是完整版的教程呀，从计划写一只爬虫，到代码的完善，再到代码打包成 exe 文件，一条龙

https://fishc.com.cn/thread-189478-1-1.html

Daniel_Zhang

没人吗

liuzhengyuan

建议设置 “回复可见”，这样人会很多……

Daniel_Zhang

liuzhengyuan 发表于 2021-1-24 18:09
建议设置 “回复可见”，这样人会很多……

受教了，下次再弄，不然我的帖子又要重新审核了

嘉岳呀

加油！

嘉岳呀

加油！

心驰神往

鱼币

今日风平浪静

3533050047

1

hornwong

星空玩偶，夜云

萌新感动，学到了

iamneil

支持下

sunofdream

请输入您需要爬取的图片信息：
car
请输入您想要下载的页数：
1

进程已结束,退出代码0

然后。。。。。。。。。。。。。。。。。然后就没有然后了。。。。什么都没有下载下来。。。

suxiaohu

支持一下，老板大气

zxc22666789

青出于蓝

与比

青出于蓝

qq1151985918

小伤口

厉害
学习

天下有雪

学习了，厉害。