[已解决]关于爬虫

tiger吴

1. 

复制代码

1. import re
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def get_html(url):
   
6.     header={
   
7.         'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
   
8.         'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
   
9.     }
   
10.     html=requests.get(url=url,headers=header)
    
11.     #print(html.text)
    
12.     return html
    
13. 
    
14. # def get_list(html):
    
15. #     html=html.text
    
16. #     soup=BeautifulSoup(html,'html.parser')
    
17. #     img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
    
18. #     img_list=soup.find_all(img_re,soup)
    
19.     # print(img_list)
    
20.     #a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    
21.     #link_list=re.findall(a,html.text)
    
22. 
    
23.     #return link_list
    
24. def get_list(html):
    
25.     link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
    
26.     #print(link_list)
    
27.     return link_list
    
28. 
    
29. 
    
30. def main():
    
31.     url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    
32.     html=get_html(url)
    
33.     img_list=get_list(html)
    
34.     #print(img_list)
    
35. 
    
36.     for img_url in img_list:
    
37.         img_name='美眉/'+img_url.split('/')[-1]
    
38.         print(img_name)
    
39.         with open(img_name,'wb') as f:
    
40.             # print('开始爬取图片')
    
41.             # html=get_html(img_list)
    
42.             # print(html.content)
    
43.             f.write(html.content)
    
44.             print('爬取成功')
    
45. 
    
46. 
    
47. 
    
48. if __name__ == "__main__":
    
49.     main()

复制代码

爬虫爬取的图片打开后显示这样，什么问题？怎么解决尼

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-11 20:36:54

这样就好了，你打印下你爬到的链接发现是这样的：

'http:\\/\\/f1.huatiku.com\\/attachment\\/forum\\/201808\\/20\\/111505racut3fuqpw7kskc.jpg'

只要用 re 模块的 sub 把 \ 替换成空字符即可，但是只能爬几个图片，然后就被反爬了

1. import re
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def get_html(url):
   
6.     header={
   
7.         'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
   
8.         'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
   
9.     }
   
10.     html=requests.get(url=url,headers=header)
    
11.     #print(html.text)
    
12.     return html
    
13. 
    
14. # def get_list(html):
    
15. #     html=html.text
    
16. #     soup=BeautifulSoup(html,'html.parser')
    
17. #     img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
    
18. #     img_list=soup.find_all(img_re,soup)
    
19.     # print(img_list)
    
20.     #a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    
21.     #link_list=re.findall(a,html.text)
    
22. 
    
23.     #return link_list
    
24. def get_list(html):
    
25.     link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
    
26.     #print(link_list)
    
27.     return link_list
    
28. 
    
29. 
    
30. def main():
    
31.     url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    
32.     html=get_html(url)
    
33.     img_list=get_list(html)
    
34. 
    
35.     for img_url in img_list:
    
36.         img_url = re.sub(r'\\','',img_url)
    
37.         img_name='美眉'+img_url.split('/')[-1]
    
38.         # print(img_name)
    
39.         with open(img_name,'wb') as f:
    
40.             # print('开始爬取图片')
    
41.             html=get_html(img_url)
    
42.             # print(html.content)
    
43.             f.write(html.content)
    
44.             print('爬取成功')
    
45. 
    
46. 
    
47. 
    
48. if __name__ == "__main__":
    
49.     main()

复制代码

跳转到最佳答案楼层

xiaosi4081

1. import re
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def get_html(url):
   
6.     header={
   
7.         'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
   
8.         'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
   
9.     }
   
10.     html=requests.get(url=url,headers=header)
    
11.     #print(html.text)
    
12.     return html
    
13. 
    
14. # def get_list(html):
    
15. #     html=html.text
    
16. #     soup=BeautifulSoup(html,'html.parser')
    
17. #     img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
    
18. #     img_list=soup.find_all(img_re,soup)
    
19.     # print(img_list)
    
20.     #a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    
21.     #link_list=re.findall(a,html.text)
    
22. 
    
23.     #return link_list
    
24. def get_list(html):
    
25.     soup = BeautifulSoup(html.text,'html.parser')
    
26.     link_list1 = soup.find_all("img")
    
27.     link_list = []
    
28.     for i in link_list1:
    
29.         link_list.append(img_list1["src"])
    
30.     #print(link_list)
    
31.     return link_list
    
32. 
    
33. 
    
34. def main():
    
35.     url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    
36.     html=get_html(url)
    
37.     img_list=get_list(html)
    
38.     #print(img_list)
    
39. 
    
40.     for img_url in img_list:
    
41.         img_name='美眉/'+img_url.split('/')[-1]
    
42.         print(img_name)
    
43.         with open(img_name,'wb') as f:
    
44.             html=get_html(img_list)
    
45.             print(html.content)
    
46.             f.write(html.content)
    
47. 
    
48. 
    
49. 
    
50. if __name__ == "__main__":
    
51.     main()

复制代码

Twilight6

这样就好了，你打印下你爬到的链接发现是这样的：

'http:\\/\\/f1.huatiku.com\\/attachment\\/forum\\/201808\\/20\\/111505racut3fuqpw7kskc.jpg'

只要用 re 模块的 sub 把 \ 替换成空字符即可，但是只能爬几个图片，然后就被反爬了

1. import re
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def get_html(url):
   
6.     header={
   
7.         'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
   
8.         'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
   
9.     }
   
10.     html=requests.get(url=url,headers=header)
    
11.     #print(html.text)
    
12.     return html
    
13. 
    
14. # def get_list(html):
    
15. #     html=html.text
    
16. #     soup=BeautifulSoup(html,'html.parser')
    
17. #     img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
    
18. #     img_list=soup.find_all(img_re,soup)
    
19.     # print(img_list)
    
20.     #a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    
21.     #link_list=re.findall(a,html.text)
    
22. 
    
23.     #return link_list
    
24. def get_list(html):
    
25.     link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
    
26.     #print(link_list)
    
27.     return link_list
    
28. 
    
29. 
    
30. def main():
    
31.     url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    
32.     html=get_html(url)
    
33.     img_list=get_list(html)
    
34. 
    
35.     for img_url in img_list:
    
36.         img_url = re.sub(r'\\','',img_url)
    
37.         img_name='美眉'+img_url.split('/')[-1]
    
38.         # print(img_name)
    
39.         with open(img_name,'wb') as f:
    
40.             # print('开始爬取图片')
    
41.             html=get_html(img_url)
    
42.             # print(html.content)
    
43.             f.write(html.content)
    
44.             print('爬取成功')
    
45. 
    
46. 
    
47. 
    
48. if __name__ == "__main__":
    
49.     main()

复制代码

Twilight6

成功爬取 4 张 然后好像就被反爬报错了....

小甲鱼的铁粉

tiger吴

Twilight6 发表于 2020-7-11 20:40
成功爬取 4 张 然后好像就被反爬报错了....

1. import re
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def get_html(url):
   
6.     header={
   
7.         'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
   
8.         'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
   
9.     }
   
10.     html=requests.get(url=url,headers=header)
    
11.     #print(html.text)
    
12.     return html
    
13. 
    
14. # def get_list(html):
    
15. #     html=html.text
    
16. #     soup=BeautifulSoup(html,'html.parser')
    
17. #     img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
    
18. #     img_list=soup.find_all(img_re,soup)
    
19.     # print(img_list)
    
20.     #a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    
21.     #link_list=re.findall(a,html.text)
    
22. 
    
23.     #return link_list
    
24. def get_list(html):
    
25.     link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
    
26.     new_list=[]
    
27.     for each in link_list:
    
28.         each=re.sub(r'\\','',each)
    
29.         new_list.append(each)
    
30.     #print(link_list)
    
31.     return new_list
    
32. 
    
33. 
    
34. def main():
    
35.     url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    
36.     html=get_html(url)
    
37.     img_list=get_list(html)
    
38. 
    
39.     for img_url in img_list:
    
40.         print(img_url)
    
41.         img_name='美眉/'+img_url.split('/')[-1]
    
42.         #print(img_name)
    
43.         with open(img_name,'wb') as f:
    
44.             # print('开始爬取图片')
    
45.             # html=get_html(img_list)
    
46.             # print(html.content)
    
47.             f.write(html.content)
    
48.             print('爬取成功')
    
49. 
    
50. 
    
51. 
    
52. if __name__ == "__main__":
    
53.     main()

复制代码

醉了，我把这个加在get_list函数里了，结果还是下载不了正常的图片
我看了下你的，只是放在main函数里，结果却能打印出图片了

Twilight6

tiger吴 发表于 2020-7-11 21:31
醉了，我把这个加在get_list函数里了，结果还是下载不了正常的图片
我看了下你的，只是放在main函数里 ...

我的重点是 for 循环里面有这个：

img_url = re.sub(r'\\','',img_url)

你都没认值看我的回复，代码前面我有说明呀...

tiger吴

Twilight6 发表于 2020-7-11 21:40
我的重点是 for 循环里面有这个：

我也加了，和你加的位置不一样而已

Twilight6

tiger吴 发表于 2020-7-11 21:56
我也加了，和你加的位置不一样而已

这个多怕一下后台就把你请求阻断了 然后回报错被强制断开链接，可能被检测出来是爬虫的了

Twilight6

tiger吴 发表于 2020-7-11 21:56
我也加了，和你加的位置不一样而已

你的 45 行代码 # html=get_html(img_list) 不能注释掉，因为你获取的是图片 url 要访问然后将返回的图片二进制写入

tiger吴

Twilight6 发表于 2020-7-11 21:59
你的 45 行代码 # html=get_html(img_list) 不能注释掉，因为你获取的是图片 url 要访问然后将返回的图 ...

这是我调试时的失误，全部弄好后还是不行
这个算了，我觉得光看网上这些视频有点不够用，还是得系统性的看些书学习下，你觉得哪本适合我这样的菜鸡看呢

a43145228

还在学习中！！！！

Twilight6

tiger吴 发表于 2020-7-11 22:18
这是我调试时的失误，全部弄好后还是不行
这个算了，我觉得光看网上这些视频有点不够用，还是得系统性的 ...

书籍推荐爬虫篇：

https://www.zhihu.com/question/38801925

tiger吴

Twilight6 发表于 2020-7-11 22:33
书籍推荐爬虫篇：

https://www.zhihu.com/question/38801925

噢力给