[已解决]关于爬虫

tiger吴

url='https://image.baidu.com/search/index?ct=201326592&cl=2&st=-1&lm=-1&nc=1&ie=utf-8&tn=baiduimage&ipn=r&rps=1&pv=&fm=rs7&word=%E9%9E%A0%E5%A9%A7%E7%A5%8E%E5%A3%81%E7%BA%B8%E9%AB%98%E6%B8%85&oriquery=%E9%9E%A0%E5%A9%A7%E7%A5%8E&ofr=%E9%9E%A0%E5%A9%A7%E7%A5%8E&sensitive=0'
大佬们帮忙写个爬虫爬取这个网址的图片，不要用selenium，

最佳答案

月排行榜 / 总排行榜

疾风怪盗

2020-9-6 22:03:31

帮你获取了四千年美女图，给个最佳吧，少年

跳转到最佳答案楼层

suchocolate

百度图片搜索下载一般是通用的。

1. # _*_ coding: utf-8 _*_
   
2. # Developer: suchcoolate
   
3. # Date: 6/28/2020 09:25
   
4. # File name: baidu_pic_search_downloader.py
   
5. # Development tool: PyCharm
   
6. 
   
7. import requests
   
8. import os
   
9. 
   
10. 
    
11. def main():
    
12.     # name = input('请输入百度图片搜索关键词：')
    
13.     name = '鞠婧祎壁纸高清'
    
14.     # num = int(input('请输入想下载的页数：'))
    
15.     num = 2
    
16.     # dir_name = input('请输入图片存放文件夹名称：')
    
17.     dir_name = 'pics'
    
18.     result_list = []    # 存储图片url
    
19.     headers = {'user-agent': 'firefox', 'X-Requested-With': 'XMLHttpRequest'}
    
20.     ajax_url = 'https://image.baidu.com/search/acjson?'
    
21.     data = {
    
22.         'tn': 'resultjson_com',
    
23.         'ipn': 'rj',
    
24.         'ct': '201326592',
    
25.         'is': '',
    
26.         'fp': 'result',
    
27.         'queryWord': name,
    
28.         'cl': '2',
    
29.         'lm': '-1',
    
30.         'ie': 'utf-8',
    
31.         'oe': 'utf-8',
    
32.         'adpicid': '',
    
33.         'st': '-1',
    
34.         'z': '',
    
35.         'ic': '0',
    
36.         'hd': '',
    
37.         'latest': '',
    
38.         'copyright': '',
    
39.         'word': name,
    
40.         's': '',
    
41.         'se': '',
    
42.         'tab': '',
    
43.         'width': '',
    
44.         'height': '',
    
45.         'face': '0',
    
46.         'istype': '2',
    
47.         'qc': '',
    
48.         'nc': '1',
    
49.         'fr': '',
    
50.         'expermode': '',
    
51.         'force': '',
    
52.         'pn': '30',
    
53.         'rn': '30',
    
54.         'gsm': ''
    
55.     }
    
56.     # 解析获取到的json数据，把图片url收集起来
    
57.     for item in range(1, num + 1):
    
58.         r = requests.get(ajax_url, headers=headers, params=data)
    
59.         j_data = r.json()
    
60.         for j in j_data['data'][:-1]:
    
61.             # 有的url可能是空的，跳过
    
62.             if not j['hoverURL']:
    
63.                continue
    
64.             result_list.append(j['hoverURL'])
    
65.         data['gsm'] = j_data['gsm']
    
66.         data['pn'] = str(30 * (item + 1))
    
67.     # print(result_list)    # 打印所有图片url
    
68.     # 检查文件夹是否存在
    
69.     if not os.path.exists(dir_name):
    
70.         os.mkdir(dir_name)
    
71.     os.chdir(dir_name)
    
72.     # 下载图片
    
73.     counter = 1   # 计数器
    
74.     for item in result_list:
    
75.         # print(counter, item)
    
76.         r = requests.get(item, headers=headers)
    
77.         # 图片名称
    
78.         pic_name = item.split('/')[-1]
    
79.         with open(pic_name, 'wb') as f:
    
80.             f.write(r.content)
    
81.         print(f'已下载{pic_name}，共下载{counter}张。')
    
82.         counter += 1
    
83. 
    
84. 
    
85. if __name__ == '__main__':
    
86.     main()
    
87. 
    

复制代码

疾风怪盗

四千年的美女

疾风怪盗

试试看这个

1. import requests
   
2. import json
   
3. headers = {
   
4.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
   
5. 
   
6. img_list = []
   
7. for i in range(0,10):
   
8.     url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=鞠婧祎&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=鞠婧祎&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&force=&pn='
   
9.     url=url+str(i*30)
   
10.     print(url)
    
11.     reponse = requests.get(url=url, headers=headers)
    
12.     json_data = json.loads(reponse.content.decode())
    
13.     json_data = json_data['data']
    
14.     # print(json_data)
    
15.     for i in range(0, len(json_data) - 1):
    
16.         img_url = json_data[i]['hoverURL']
    
17.         #print(img_url)
    
18.         img_list.append(img_url)
    
19. 
    
20. print(img_list)
    
21. 
    

复制代码

tiger吴

疾风怪盗 发表于 2020-9-6 15:38
试试看这个

最前面的图片不是ajax请求获取的，数据在图中的app.setData里面，不用正则怎么弄出需要的数据尼，主要是没见过这种，想了解下

tiger吴

suchocolate 发表于 2020-9-6 13:38
百度图片搜索下载一般是通用的。

兄嘚少了前30张图片，前30张图不是ajax请求获得的，我想知道的重点是这30张图片怎么弄下来

疾风怪盗

tiger吴 发表于 2020-9-6 21:37
最前面的图片不是ajax请求获取的，数据在图中的app.setData里面，不用正则怎么弄出需要的数据尼，主要是 ...

再刷个几页，就会出现acjson开头的json数据了，然后找地址规律，发现有个数字是变化的，0,30,60,90，就可以构造网址了，获取json数据比xpath要方便很多，数据也比较全

疾风怪盗

tiger吴 发表于 2020-9-6 21:44
兄嘚少了前30张图片，前30张图不是ajax请求获得的，我想知道的重点是这30张图片怎么弄下来

现在一看，好像是少了前30张。。。。。。。。。那就用正则呗

疾风怪盗

tiger吴 发表于 2020-9-6 21:44
兄嘚少了前30张图片，前30张图不是ajax请求获得的，我想知道的重点是这30张图片怎么弄下来

这样就可以了

1. import requests
   
2. import json
   
3. import re
   
4. 
   
5. headers = {
   
6.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
   
7. 
   
8. 
   
9. url = 'https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word=%E9%9E%A0%E5%A9%A7%E7%A5%8E'
   
10. 
    
11. reponse = requests.get(url=url, headers=headers)
    
12. data = reponse.content.decode()
    
13. print(data)
    
14. 
    
15. partten='"hoverURL":"(.*?)"'
    
16. img_url_list=re.findall(partten,data)
    
17. 
    
18. print(img_url_list)
    
19. print(len(img_url_list))
    

复制代码

疾风怪盗

帮你获取了四千年美女图，给个最佳吧，少年

suchocolate

tiger吴 发表于 2020-9-6 21:44
兄嘚少了前30张图片，前30张图不是ajax请求获得的，我想知道的重点是这30张图片怎么弄下来

已更新

1. # _*_ coding: utf-8 _*_
   
2. # Developer: suchcoolate
   
3. # Date: 6/28/2020 09:25
   
4. # File name: baidu_pic_search_downloader.py
   
5. # Development tool: PyCharm
   
6. 
   
7. import requests
   
8. import os
   
9. import re
   
10. 
    
11. 
    
12. def main():
    
13.     # name = input('请输入百度图片搜索关键词：')
    
14.     name = '鞠婧祎高清壁纸'
    
15.     # num = int(input('请输入想下载的页数：'))
    
16.     num = 2
    
17.     # dir_name = input('请输入图片存放文件夹名称：')
    
18.     dir_name = 'pics'
    
19.     result_list = []    # 存储图片url
    
20.     index_headers = {'user-agent': 'firefox'}
    
21.     ajax_headers = {'user-agent': 'firefox', 'X-Requested-With': 'XMLHttpRequest'}
    
22.     index_url = 'https://image.baidu.com/search/index?'
    
23.     index_params = {
    
24.         'tn': 'baiduimage',
    
25.         'ipn': 'r',
    
26.         'ct': '201326592',
    
27.         'cl': '2',
    
28.         'lm': '-1',
    
29.         'st': '-1',
    
30.         'fm': 'index',
    
31.         'fr': '',
    
32.         'hs': '0',
    
33.         'xthttps': '111111',
    
34.         'sf': '1',
    
35.         'fmq': '',
    
36.         'pv': '',
    
37.         'ic': '0',
    
38.         'nc': '1',
    
39.         'z': '',
    
40.         'se': '1',
    
41.         'showtab': '0',
    
42.         'fb': '0',
    
43.         'width': '',
    
44.         'height': '',
    
45.         'face': '0',
    
46.         'istype': '2',
    
47.         'ie': 'utf-8',
    
48.         'word': name,
    
49.         'oq': name,
    
50.         'rsp': '-1'
    
51.     }
    
52.     ajax_url = 'https://image.baidu.com/search/acjson?'
    
53.     ajax_params = {
    
54.         'tn': 'resultjson_com',
    
55.         'ipn': 'rj',
    
56.         'ct': '201326592',
    
57.         'is': '',
    
58.         'fp': 'result',
    
59.         'queryWord': name,
    
60.         'cl': '2',
    
61.         'lm': '-1',
    
62.         'ie': 'utf-8',
    
63.         'oe': 'utf-8',
    
64.         'adpicid': '',
    
65.         'st': '-1',
    
66.         'z': '',
    
67.         'ic': '0',
    
68.         'hd': '',
    
69.         'latest': '',
    
70.         'copyright': '',
    
71.         'word': name,
    
72.         's': '',
    
73.         'se': '',
    
74.         'tab': '',
    
75.         'width': '',
    
76.         'height': '',
    
77.         'face': '0',
    
78.         'istype': '2',
    
79.         'qc': '',
    
80.         'nc': '1',
    
81.         'fr': '',
    
82.         'expermode': '',
    
83.         'force': '',
    
84.         'pn': '30',
    
85.         'rn': '30',
    
86.         'gsm': ''
    
87.     }
    
88.     # 获取首页图片
    
89.     r = requests.get(index_url, headers=index_headers, params=index_params)
    
90.     result = re.findall('"hoverURL":"(.*?)"', r.text)
    
91.     result_list.extend(result)
    
92.     # 解析获取到的json数据，把图片url收集起来
    
93.     for item in range(1, num + 1):
    
94.         r = requests.get(ajax_url, headers=ajax_headers, params=ajax_params)
    
95.         j_data = r.json()
    
96.         for j in j_data['data'][:-1]:
    
97.             if not j['hoverURL']:
    
98.                 continue
    
99.             result_list.append(j['hoverURL'])
    
100.         ajax_params['gsm'] = j_data['gsm']
     
101.         ajax_params['pn'] = str(30 * (item + 1))
     
102.     # print(result_list)    # 打印所有图片url
     
103.     # 检查文件是否存在
     
104.     if not os.path.exists(dir_name):
     
105.         os.mkdir(dir_name)
     
106.     os.chdir(dir_name)
     
107.     # 下载图片
     
108.     counter = 1   # 计数器
     
109.     for item in result_list:
     
110.         # print(counter, item)
     
111.         r = requests.get(item, headers=index_headers)
     
112.         # pic_name是图片名称
     
113.         pic_name = item.split('/')[-1]
     
114.         with open(pic_name, 'wb') as f:
     
115.             f.write(r.content)
     
116.         print(f'已下载{pic_name}，共下载{counter}张。')
     
117.         counter += 1
     
118. 
     
119. 
     
120. if __name__ == '__main__':
     
121.     main()
     
122. 
     

复制代码

bonst

有一个库helium，基于Selenium基础上的更加高级的web自动化工具

bonst

首先把链接贴在这里，可以去看看，非常好的一个库，用法也简单
链接：https://mp.weixin.qq.com/s/XvC-R0WUSqF7DokTJe2cpw

tiger吴

bonst 发表于 2020-9-7 12:16
首先把链接贴在这里，可以去看看，非常好的一个库，用法也简单
链接：https://mp.weixin.qq.com/s/XvC-R0W ...

额，这种不太适合学习者用吧

bonst

看你做啥子，反正我觉得可以，节省工作，之前用哪个requests库做这种工作感觉不如这个简单