循环<urlopen error [WinError 10054] 远程主机强迫关闭了一个现有的连接。>

phxx

如下所示，close()， time.sleep()，socket.setdefaulttimeout()都用过了，搞不明白

1. import os
   
2. import re
   
3. import urllib
   
4. import json
   
5. import socket
   
6. import urllib.request
   
7. import urllib.parse
   
8. import urllib.error
   
9. import time
   
10. import _thread
    
11. 
    
12. timeout = 20
    
13. socket.setdefaulttimeout(timeout)
    
14. 
    
15. def SaveImage(url='https://original.img.cheerfun.dev/img-original/img/2019/03/05/03/09/55/73518990_p0.png',path='test.png'):
    
16.     rq = urllib.request.Request(url)
    
17.     rq.add_header('accept','image/webp,image/apng,image/*,*/*;q=0.8')
    
18.     rq.add_header('accept-encoding','gzip, deflate, br')
    
19.     rq.add_header('accept-languag','zh-CN,zh;q=0.9,en;q=0.8,pl;q=0.7')
    
20.     rq.add_header('sec-fetch-dest','image')
    
21.     rq.add_header('sec-fetch-mode','no-cors')
    
22.     rq.add_header('sec-fetch-site','cross-site')
    
23.     rq.add_header('referer','https://pixivic.com/popSearch')
    
24.     rq.add_header('user-agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36')
    
25.     rp = urllib.request.urlopen(rq)
    
26.     #print(rp.getcode())
    
27.     s=rp.read()
    
28.     rq.close()
    
29.     #print(len(s))
    
30.     f=open(path,'wb')
    
31.     f.write(s)
    
32.     f.close()
    
33.     time.sleep(10)
    
34. 
    
35. class Crawler:
    
36.     __time_sleep = 10
    
37.     __amount = 0
    
38.     __start_amount = 0
    
39.     __counter = 0
    
40.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36'}
    
41. 
    
42.     def __init__(self, t=0.1, word='白上吹雪 '):
    
43.         self.time_sleep = t
    
44.         if not os.path.exists("./" + word):
    
45.             os.mkdir("./" + word)
    
46.         self.__counter = len(os.listdir('./' + word)) + 1
    
47. 
    
48.     def get_suffix(self, name):
    
49.         m = re.search(r'\.[^\.]*$', name)
    
50.         if m.group(0) and len(m.group(0)) <= 5:
    
51.             return m.group(0)
    
52.         else:
    
53.             return '.jpeg'
    
54. 
    
55.     def save_image(self, rsp_data, word):
    
56.         
    
57.         for image_info in rsp_data['imageUrls']:
    
58.             try:
    
59.                 pps=image_info['original'].replace('https://i.pximg.net/','https://original.img.cheerfun.dev/')
    
60.                 print(pps)
    
61.                 suffix = self.get_suffix(pps)
    
62.                 # 保存图片
    
63.                 _thread.start_new_thread(SaveImage,(pps,'./' + word + '/' + str(self.__counter) + str(suffix)))
    
64.             except urllib.error.HTTPError as urllib_err:
    
65.                 print(urllib_err)
    
66.                 continue
    
67.             except Exception as err:
    
68.                 time.sleep(10)
    
69.                 print(err)
    
70.                 print("产生未知错误，放弃保存")
    
71.                 continue
    
72.             else:
    
73.                 sum=len(os.listdir('./' + word))
    
74.                 print(f'第{str(self.__counter)}张涩图正在保存,已有{str(sum)}张涩图')
    
75.                 self.__counter += 1
    
76.                 time.sleep(self.time_sleep)
    
77.         return
    
78. 
    
79.     def get_images(self, word='白上吹雪'):
    
80.         search = urllib.parse.quote(word)
    
81.         pn = self.__start_amount
    
82.         while pn <= self.__amount:
    
83.             url='https://api.pixivic.com/illustrations?keyword='+search+'&page='+str(pn)
    
84.             print(url)
    
85.             try:
    
86.                 req = urllib.request.Request(url=url, headers=self.headers)
    
87.                 page = urllib.request.urlopen(req)
    
88.                 rsp = page.read().decode('utf-8')
    
89.             except UnicodeDecodeError as e:
    
90.                 print(e)
    
91.                 print('-----UnicodeDecodeErrorurl:', url)
    
92.             except urllib.error.URLError as e:
    
93.                 print(e)
    
94.                 print("-----urlErrorurl:", url)
    
95.             except socket.timeout as e:
    
96.                 print(e)
    
97.                 print("-----socket timout:", url)
    
98.             else:
    
99.                 rsp_data = json.loads(rsp)
    
100.                 tmp=rsp_data['data']
     
101.                 for ele in tmp:
     
102.                     self.save_image(ele, word)
     
103.                 print("下载下一页")
     
104.                 pn += 1
     
105.             
     
106.                 page.close()
     
107.         print("下载任务结束")
     
108.         return
     
109. 
     
110.     def start(self, word, spider_page_num=1, start_page=1):
     
111.         self.__start_amount = start_page
     
112.         self.__amount = spider_page_num
     
113.         self.get_images(word)
     
114. 
     
115. 
     
116. if __name__ == '__main__':
     
117.     word=input('你想要谁的涩图?请输入:')
     
118.     crawler = Crawler(1.3,word)
     
119.     crawler.start(word, 10, 1)
     

复制代码

ZhKQYu

'https://api.pixivic.com/illustrations?keyword='+search+'&page='+str(pn)
这个api无法访问，可能是接口不太对

ZhKQYu

https://github.com/IkutoJyu/Pixiv-Illustration-Collection-Backend/blob/master/Pixivic.com%20Api%20Doc.md
好几年前的东西了，应该是无法访问了