[已解决]关于爬虫

tiger吴

写出的爬虫爬到的图片是这样子的
怎么办

1. import requests
   
2. import re
   
3. import time
   
4. 
   
5. 
   
6. def get_html(url):
   
7.     headers = {
   
8.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
   
9.     }
   
10. 
    
11.     html=requests.get(url,headers=headers)
    
12. 
    
13. 
    
14.     return html
    
15. 
    
16. 
    
17. def get_img_list(html):
    
18.     html=html.text
    
19.     a = re.compile(r"<img class='lazy' src='.*?data-original='(.*?[.]jpg)'", re.S)
    
20.     img_list=re.findall(a,html)
    
21. 
    
22.     return img_list   
    
23. 
    
24. def main():
    
25.     print('欢迎使用爬虫')
    
26.     n=int(input('请输入需要保存保存图片的网页数：'))
    
27.     m=0
    
28.     for i in range(1,n+1):
    
29. 
    
30.         url = 'https://www.mzitu.com/japan/page/'+str(i)+'/'
    
31.         page_html = get_html(url)
    
32. 
    
33.         img_list = get_img_list(page_html)
    
34.         print(img_list)
    
35.         n=1+m
    
36.         for each_img_link in img_list:
    
37. 
    
38.             file_name='美眉/'+ str(n)+'.jpg'
    
39.             with open(file_name, 'wb') as f:
    
40.                 img_html=get_html(each_img_link)
    
41.                 print('开始保存')
    
42. 
    
43.                 f.write(img_html.content)
    
44.                 print('爬取成功')
    
45.                 n+=1
    
46.                 time.sleep(2)
    
47.         m+=1000
    
48. 
    
49. 
    
50. if __name__ == '__main__':
    
51.     main()

复制代码

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-11 08:01:20

headers 里面加上 'Referer': 'https://www.mzitu.com/'

1. import requests
   
2. import re
   
3. import time
   
4. 
   
5. 
   
6. def get_html(url):
   
7.     headers = {
   
8.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
   
9.         'Referer': 'https://www.mzitu.com/'
   
10.     }
    
11. 
    
12.     html=requests.get(url,headers=headers)
    
13. 
    
14. 
    
15.     return html
    
16. 
    
17. 
    
18. def get_img_list(html):
    
19.     html=html.text
    
20.     a = re.compile(r"<img class='lazy' src='.*?data-original='(.*?[.]jpg)'", re.S)
    
21.     img_list=re.findall(a,html)
    
22. 
    
23.     return img_list   
    
24. 
    
25. def main():
    
26.     print('欢迎使用爬虫')
    
27.     n=int(input('请输入需要保存保存图片的网页数：'))
    
28.     m=0
    
29.     for i in range(1,n+1):
    
30. 
    
31.         url = 'https://www.mzitu.com/japan/page/'+str(i)+'/'
    
32.         page_html = get_html(url)
    
33. 
    
34.         img_list = get_img_list(page_html)
    
35.         print(img_list)
    
36.         n=1+m
    
37.         for each_img_link in img_list:
    
38. 
    
39.             file_name='美眉'+ str(n)+'.jpg'
    
40.             with open(file_name, 'wb') as f:
    
41.                 img_html=get_html(each_img_link)
    
42.                 print('开始保存')
    
43. 
    
44.                 f.write(img_html.content)
    
45.                 print('爬取成功')
    
46.                 n+=1
    
47.                 time.sleep(2)
    
48.         m+=1000
    
49. 
    
50. 
    
51. if __name__ == '__main__':
    
52.     main()

复制代码

跳转到最佳答案楼层

Twilight6

headers 里面加上 'Referer': 'https://www.mzitu.com/'

1. import requests
   
2. import re
   
3. import time
   
4. 
   
5. 
   
6. def get_html(url):
   
7.     headers = {
   
8.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
   
9.         'Referer': 'https://www.mzitu.com/'
   
10.     }
    
11. 
    
12.     html=requests.get(url,headers=headers)
    
13. 
    
14. 
    
15.     return html
    
16. 
    
17. 
    
18. def get_img_list(html):
    
19.     html=html.text
    
20.     a = re.compile(r"<img class='lazy' src='.*?data-original='(.*?[.]jpg)'", re.S)
    
21.     img_list=re.findall(a,html)
    
22. 
    
23.     return img_list   
    
24. 
    
25. def main():
    
26.     print('欢迎使用爬虫')
    
27.     n=int(input('请输入需要保存保存图片的网页数：'))
    
28.     m=0
    
29.     for i in range(1,n+1):
    
30. 
    
31.         url = 'https://www.mzitu.com/japan/page/'+str(i)+'/'
    
32.         page_html = get_html(url)
    
33. 
    
34.         img_list = get_img_list(page_html)
    
35.         print(img_list)
    
36.         n=1+m
    
37.         for each_img_link in img_list:
    
38. 
    
39.             file_name='美眉'+ str(n)+'.jpg'
    
40.             with open(file_name, 'wb') as f:
    
41.                 img_html=get_html(each_img_link)
    
42.                 print('开始保存')
    
43. 
    
44.                 f.write(img_html.content)
    
45.                 print('爬取成功')
    
46.                 n+=1
    
47.                 time.sleep(2)
    
48.         m+=1000
    
49. 
    
50. 
    
51. if __name__ == '__main__':
    
52.     main()

复制代码

小甲鱼的铁粉

看一楼

tiger吴

Twilight6 发表于 2020-7-11 08:01
headers 里面加上 'Referer': 'https://www.mzitu.com/'

Referer的值就是填上一个页面的网址吗