学习爬虫时遇到10054, ”远程主机强迫关闭了一个现有的连接“不知道怎么办！

姜佰虎

本人刚刚接触python，想使用研究研究一下爬虫，但是目前的网站反爬机制蛮厉害的
目前现在折腾的是一个爬妹子网的爬虫，但是遇到了以下问题
这是爬虫的源代码

1. import re
   
2. import os
   
3. import time
   
4. import threading
   
5. from multiprocessing import Pool, cpu_count
   
6. 
   
7. import requests
   
8. from bs4 import BeautifulSoup
   
9. 
   
10. HEADERS = {
    
11.     'X-Requested-With': 'XMLHttpRequest',
    
12.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 '
    
13.                   '(KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
    
14.     'Referer': 'http://www.mzitu.com'
    
15. }
    
16. 
    
17. # 下载图片保存路径
    
18. DIR_PATH = r"D:\mzitu"
    
19. 
    
20. 
    
21. def get_urls():
    
22.     """
    
23.     获取 mzitu 网站下所有套图的 url
    
24.     """
    
25.     page_urls = ['http://www.mzitu.com/page/{cnt}'.format(cnt=cnt)
    
26.                  for cnt in range(1, 193)]
    
27.     print("Please wait for second ...")
    
28.     img_urls = []
    
29.     for page_url in page_urls:
    
30.         try:
    
31.             bs = BeautifulSoup(
    
32.                 requests.get(page_url, headers=HEADERS, timeout=10).text,
    
33.                 'lxml').find('ul', id="pins")
    
34.             result = re.findall(r"(?<=href=)\S+", str(bs))      # 匹配所有 urls
    
35.             img_url = [url.replace('"', "") for url in result]
    
36.             img_urls.extend(img_url)
    
37.         except Exception as e:
    
38.             print(e)
    
39.     return set(img_urls)    # 利用 set 去重 urls
    
40. 
    
41. 
    
42. lock = threading.Lock()     # 全局资源锁
    
43. 
    
44. 
    
45. def urls_crawler(url):
    
46.     """
    
47.     爬虫入口，主要爬取操作
    
48.     """
    
49.     try:
    
50.         r = requests.get(url, headers=HEADERS, timeout=10).text
    
51.         folder_name = BeautifulSoup(r, 'lxml').find(
    
52.             'div', class_="main-image").find('img')['alt'].replace("?", " ")
    
53.         with lock:
    
54.             if make_dir(folder_name):
    
55.                 # 套图里图片张数
    
56.                 max_count = BeautifulSoup(r, 'lxml').find(
    
57.                     'div', class_='pagenavi').find_all('span')[-2].get_text()
    
58.                 page_urls = [url + "/" + str(i) for i in range(1, int(max_count) + 1)]
    
59.                 img_urls = []
    
60. 
    
61.                 for _, page_url in enumerate(page_urls):
    
62.                     time.sleep(0.25)
    
63.                     result = requests.get(page_url, headers=HEADERS, timeout=10).text
    
64.                     img_url = BeautifulSoup(result, 'lxml').find(
    
65.                         'div', class_="main-image").find(
    
66.                         'p').find('a').find('img')['src']
    
67.                     img_urls.append(img_url)
    
68.                 for cnt, url in enumerate(img_urls):
    
69.                     save_pic(url, cnt)
    
70.     except Exception as e:
    
71.         print(e)
    
72. 
    
73. 
    
74. def save_pic(pic_src, pic_cnt):
    
75.     """
    
76.     保存图片到本地
    
77.     """
    
78.     try:
    
79.         time.sleep(0.10)
    
80.         img = requests.get(pic_src, headers=HEADERS, timeout=10)
    
81.         img_name = "pic_cnt_{}.jpg".format(pic_cnt + 1)
    
82.         with open(img_name, 'ab') as f:
    
83.             f.write(img.content)
    
84.             print(img_name)
    
85.     except Exception as e:
    
86.         print(e)
    
87. 
    
88. 
    
89. def make_dir(folder_name):
    
90.     """
    
91.     新建文件夹并切换到该目录下
    
92.     """
    
93.     path = os.path.join(DIR_PATH, folder_name)
    
94.     # 如果目录已经存在就不用再次爬取了，去重，提高效率。存在返回 False，否则反之
    
95.     if not os.path.exists(path):
    
96.         os.makedirs(path)
    
97.         print(path)
    
98.         os.chdir(path)
    
99.         return True
    
100.     print("Folder has existed!")
     
101.     return False
     
102. 
     
103. 
     
104. def delete_empty_dir(save_dir):
     
105.     """
     
106.     如果程序半路中断的话，可能存在已经新建好文件夹但是仍没有下载的图片的
     
107.     情况但此时文件夹已经存在所以会忽略该套图的下载，此时要删除空文件夹
     
108.     """
     
109.     if os.path.exists(save_dir):
     
110.         if os.path.isdir(save_dir):
     
111.             for d in os.listdir(save_dir):
     
112.                 path = os.path.join(save_dir, d)     # 组装下一级地址
     
113.                 if os.path.isdir(path):
     
114.                     delete_empty_dir(path)      # 递归删除空文件夹
     
115.         if not os.listdir(save_dir):
     
116.             os.rmdir(save_dir)
     
117.             print("remove the empty dir: {}".format(save_dir))
     
118.     else:
     
119.         print("Please start your performance!")     # 请开始你的表演
     
120. 
     
121. 
     
122. if __name__ == "__main__":
     
123.     urls = get_urls()
     
124.     pool = Pool(processes=cpu_count())
     
125.     try:
     
126.         delete_empty_dir(DIR_PATH)
     
127.         pool.map(urls_crawler, urls)
     
128.     except Exception:
     
129.         time.sleep(30)
     
130.         delete_empty_dir(DIR_PATH)
     
131.         pool.map(urls_crawler, urls)

复制代码

1. C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\python.exe D:/pachong/mzitu-master/mzitu.py
   
2. Please wait for second ...
   
3. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
   
4. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
   
5. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
   
6. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
   
7. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
   
8. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
   
9. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
   
10. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
    
11. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
    
12. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
    
13. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
    
14. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
    
15. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
    
16. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
    
17. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
    
18. ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
    
19. 
    
20. 进程已结束，退出代码 -1
    

复制代码

应该是网站的反扒机制认定我是爬虫，我的解决方法
方法一，我更换了请求头，但无用还是这个样子

1. {'If-None-Match': 'W/"5cc2cd8f-2c58"',
   
2.            "Referer": "http://www.mzitu.com/all/",
   
3.            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
   
4.                          'Chrome/50.0.2661.102 UBrowser/6.1.2107.204 SafarMozilla/5.0 (Windows NT 6.1) '
   
5.                          'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}

复制代码

方法二挂VPN，我选则的是v2rayNG挂的是香港路线但是也没用，在代码里使用代理我还不会╮(╯▽╰)╭。
各位大佬可以帮帮我吗？

tryhi

请问楼主解决了吗