百度爬图

君子好逑

1. import requests
   
2. from urllib.parse import urlencode
   
3. import re
   
4. import os
   
5. import time
   
6. 
   
7. #计划将图片都保存在E盘叫“百度图片”的文件夹下
   
8. filelist = os.listdir(path='E:\\')
   
9. if ('百度图片') not in filelist:
   
10.     os.mkdir("E:\\百度图片")
    
11. 
    
12. headers = {
    
13.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
    
14. }  
    
15. 
    
16. name = input("请输入您需要爬取的图片信息：")
    
17. 
    
18. filelist = os.listdir(path='E:\\百度图片')
    
19. 
    
20. #检查在百度图片文件夹下是否存在以搜索内容为名的文件夹
    
21. #若存在，则说明以前曾爬取过相关内容,不再新建以此搜索内容命名的文件夹
    
22. #若不存在，则说明以前未曾搜索过相关内容，新建文件夹以保存此次爬取的图片
    
23. if (name) not in filelist:
    
24.     os.mkdir("E:\\百度图片/%s"%name)
    
25. before_path = "E:/百度图片/" + name +'/'
    
26. 
    
27. times = time.gmtime()
    
28. t=str(time.mktime(times))
    
29. 
    
30. #通过输入的需要搜索的内容拼接出百度的相关内容的搜索链接
    
31. def get_url(name):
    
32.     bef_url = 'https://image.baidu.com/search/index?'
    
33. 
    
34.     data = {
    
35.         'tn': 'resultjson_com',
    
36.         'logid': '7364932782014356645',
    
37.         'ipn': 'rj',
    
38.         'ct': '201326592',
    
39.         'is': '',
    
40.         'fp': 'result',
    
41.         'queryWord': '二次元图片',
    
42.         'cl': '2',
    
43.         'lm': '-1',
    
44.         'ie': 'utf-8',
    
45.         'oe': 'utf-8',
    
46.         'adpicid': '',
    
47.         'st': '',
    
48.         'z': '',
    
49.         'ic': '',
    
50.         'hd': '',
    
51.         'latest': '',
    
52.         'copyright': '',
    
53.         'word': '二次元图片',
    
54.         's': '',
    
55.         'se': '',
    
56.         'tab': '',
    
57.         'width': '',
    
58.         'height': '',
    
59.         'face': '',
    
60.         'istype': '',
    
61.         'qc': '',
    
62.         'nc': '',
    
63.         'fr': '',
    
64.         'expermode': '',
    
65.         'force': '',
    
66.         'pn': '30',
    
67.         'rn': '30',
    
68.         'gsm': '1e',
    
69.         '1611387183889': ''
    
70.     }
    
71. 
    
72.     data['word'] = name
    
73.     data['word'] = name
    
74. 
    
75.     url = bef_url + urlencode(data)
    
76.     return url
    
77. 
    
78. url = get_url(name)
    
79. 
    
80. #将链接传递给get_add函数，该函数将会取得前三十张图片的连接
    
81. def get_add(url):
    
82.     response = requests.get(url=url,headers=headers)
    
83.     if response.status_code == requests.codes.ok:
    
84.         html = response.text
    
85. 
    
86.         regular = re.compile('"middleURL":"(.*?)"')
    
87. 
    
88.         result = regular.findall(html)
    
89. 
    
90.     else :
    
91.         result = False
    
92. 
    
93.     return result
    
94. 
    
95. 
    
96. result = get_add(url)
    
97. 
    
98. if result == False:
    
99.     print("搜索出错！！！\n请重试")
    
100. 
     
101. elif not result:
     
102.     print("您搜索的内容不存在！！！")
     
103.     os.rmdir("E:\\百度图片/%s"%name)
     
104. 
     
105. else:
     
106. #下载图片并保存
     
107.     while(result):
     
108.         url = result.pop()
     
109.         response = requests.get(url=url,headers=headers)
     
110.         html = response.content
     
111.         name = url.split('/')[-1]
     
112. 
     
113.         path = before_path + t + name
     
114. 
     
115.         with open(path,'wb') as f:
     
116.             f.write(html)

复制代码

在一个大佬的指导下写了这个爬百度图的程序，有大佬能优化一下，或者指出我的不足就再好不过了

°蓝鲤歌蓝

1. 函数名 get_add 不行。
2. 既然后面是用 result.pop() 来依次弹出 url 进行处理，那么完全可以换成迭代器。
3. 没用到 try-except。

Daniel_Zhang

兼容性没那么好吧，只支持 win 然后还必须得是有 E盘 的 win

君子好逑

°蓝鲤歌蓝 发表于 2021-1-23 20:44
1. 函数名 get_add 不行。
2. 既然后面是用 result.pop() 来依次弹出 url 进行处理，那么完全可以换成迭代 ...

呃，大佬，还没学到迭代器

君子好逑

Daniel_Zhang 发表于 2021-1-25 20:29
兼容性没那么好吧，只支持 win 然后还必须得是有 E盘 的 win

初学者嘛，理解一下，哈哈哈哈哈