各位大大看下这爬虫

自为其主

1. import requests
   
2. import re
   
3. import os
   
4. from bs4 import BeautifulSoup
   
5. import time
   
6. 
   
7. 
   
8. def header(url):  # 头文件，反反爬
   
9.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
   
10.                              '(KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36',
    
11.                'Referer': url}
    
12.     return headers
    
13. 
    
14. 
    
15. def get_html_text(url):  # 通用爬虫代码
    
16.     try:
    
17.         r = requests.get(url, headers=header(url))
    
18.         r.raise_for_status()
    
19.         r.encoding = 'utf-8'
    
20.         return r.text
    
21.     except:
    
22.         print("爬取失败！")
    
23. 
    
24. 
    
25. def get_all_page_list(num):  # 获取指定爬取数量的页面地址
    
26.     all_page_list = []
    
27.     for i in range(num):
    
28.         all_page_list.append(f"https://www.mzitu.com/page/{i+1}/")  # 修改后面的数，将从这页开始爬，比方说上次爬到第6页，这次从第7页开始，就把i+1改成i+7
    
29.     return all_page_list
    
30. 
    
31. 
    
32. def get_page_group_list(url):  # 获取单页每组图片地址
    
33.     html = get_html_text(url)
    
34.     p = r'<li><a href="(https://www.mzitu.com/\d*)'
    
35.     page_group_list = re.findall(p, html)
    
36.     return page_group_list
    
37. 
    
38. 
    
39. def get_every_group_pic_list(url):  # 获取每组所有图片的地址
    
40.     html = get_html_text(url)
    
41.     soup = BeautifulSoup(html, 'lxml')
    
42.     page_num = int(soup.find('div', 'pagenavi').find_all('span')[-2].string)  # 获取每组图片的页数
    
43.     every_group_pic_list = []
    
44.     for i in range(page_num):
    
45.         every_group_pic_list.append(f"{url}/{i+1}")
    
46.     return every_group_pic_list
    
47. 
    
48. 
    
49. def get_save_pic(url):   # 获取和保存图片文件
    
50.     html = get_html_text(url)
    
51.     soup = BeautifulSoup(html, 'lxml')
    
52. 
    
53.     pic_src = soup.find('div', 'main-image').find('img')['src']
    
54.     pic_name = pic_src.split('/')[-1]
    
55. 
    
56.     root = "D://妹子图//"
    
57.     path = root + soup.find('div', 'main-image').find('img')['alt'] + '//'
    
58. 
    
59.     try:
    
60.         os.mkdir(path)
    
61.         os.chdir(path)
    
62.     except FileExistsError:
    
63.         pass
    
64. 
    
65.     with open(pic_name, 'wb') as f:
    
66.         f.write(requests.get(pic_src, headers=header(pic_src)).content)
    
67. 
    
68. 
    
69. def main():
    
70.     num = int(input("请输入爬取的页数(共200多页，每页有24组图片)："))
    
71.     all_page_list = get_all_page_list(num)  # 获取需要爬取的总页数地址列表
    
72.     print(all_page_list)
    
73.     print("====================================================================")
    
74.     for url1 in all_page_list:
    
75.         page_group_list = get_page_group_list(url1)  # 获取单页每组图片地址列表
    
76.         print(page_group_list)
    
77.         print("====================================================================")
    
78.         for url2 in page_group_list:
    
79.             every_group_pic_list = get_every_group_pic_list(url2)  # 获取每组所有图片地址列表
    
80.             for url3 in every_group_pic_list:
    
81.                 print(url3)
    
82.                 print("====================================================================")
    
83.                 get_save_pic(url3)  # 获取并保存每组图片
    
84.                 time.sleep(1)   # 一定要保留，如果太快，最多下两个图集就停了
    
85. 
    
86. 
    
87. 
    
88. try:
    
89.    os.mkdir("D://妹子图")  # 下载的图片存放在D盘的妹子图文件夹里
    
90. except:
    
91.    pass
    
92. main()
    

复制代码

各位大大看下这段爬虫哪里有问题，昨天运行的时候提示无法链接主机