python多线程爬虫

moemoe5631

新人刚学爬虫 练手了一下
win10 64位  python3
大致内容：爬了很多网页，，每个网页上有一系列图片
每个网页对应地创建了一个文件夹
以文件夹：图片url的形式 拿字典保存了下来
全部创建了子线程  6000多个
用BoundedSemaphore设置了最大线程数
问题在于
1  运行后所有图爬完了 主线程里print(end-start)也显示了运行时间 程序最后不知道为什么不退出


2 如果最后改为for t in threads: t.join() 不设置timeout参数的话 图片爬完 不会显示最后的print(end-start) 一样的会卡住

与上图一样 只是最后没有运行时间

3 还有个小问题就是途中偶尔会有几个线程 遇到[Errno 10054] 远程主机强迫关闭了一个现有的连接 是被网站认定为了爬虫吗 有什么好的伪装办法吗

4 有没有更好的多线程的写法

最后感谢各位大佬


代码：

1. import re
   
2. import urllib.request
   
3. import os
   
4. import urllib.parse
   
5. import json
   
6. import threading
   
7. import time
   
8. 
   
9. class downloader(threading.Thread):
   
10.         def __init__(self,img_url,file_name,semlock):
    
11.                 threading.Thread.__init__(self)
    
12.                 self.img_url=img_url
    
13.                 self.file_name=file_name
    
14.                 self.semlock=semlock
    
15.         def run(self):
    
16.                 self.semlock.acquire()
    
17.                 auto_down(self.img_url,self.file_name)               
    
18.                 self.semlock.release()
    
19. 
    
20. 
    
21. def auto_down(url,file_name):      #递归urlretrieve下载图片至指定文件夹
    
22.         try:
    
23.                 print('正在下载%s到%s'%(url,file_name))
    
24.                 urllib.request.urlretrieve(url,file_name)
    
25.         except urllib.error.ContentTooShortError:
    
26.                 print('Network conditions is not good.Reloading.')
    
27.                 auto_down(url,file_name)                       
    
28. 
    
29. 
    
30. def get_img_url(html):            #根据每个网址获取图片url
    
31.         html=html.decode('utf-8')
    
32.         imglist_before=re.findall(r'<img[\s\S]*?src="([^"]+\.jpg|[^"]+\.gif)"',html)
    
33.         imglist_final=[]
    
34.         for each in imglist_before:
    
35.                 if re.search(r'.*\d+',each.split('/')[2]):
    
36.                         imglist_final.append(each)
    
37.         return imglist_final
    
38.        
    
39. 
    
40.                                
    
41.                        
    
42. def get_file_name(html):              #根据每个网址获取标题
    
43.         html=html.decode('utf-8')
    
44.         title_name=re.findall(r'<title>(.+) - AcFun',html)
    
45.         return title_name[0]
    
46. 
    
47.        
    
48. def make_dir(title_name):      #根据标题创建文件夹
    
49.         file_name='C:\\Users\\sj\\Desktop\\123\\Cv\\'+title_name
    
50.         if not os.path.exists(file_name):
    
51.                 os.mkdir(file_name)
    
52.                  
    
53.                  
    
54.                  
    
55. def get_url(url,page):                  #获取所有页上的网址列表
    
56.        
    
57.         data={}
    
58.         data['specialId']=5003739
    
59.         data['pageNo']=page
    
60.         data['pageSize']=18
    
61.         data=urllib.parse.urlencode(data).encode("utf-8")
    
62.        
    
63.         req=urllib.request.Request(url,data)
    
64.         req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36')
    
65.         response=urllib.request.urlopen(req)
    
66.         html=response.read()
    
67.         html=html.decode('utf-8')
    
68.         target=json.loads(html)
    
69.         url_page=[]
    
70.         for i in target['specialContents']:
    
71.                 url_page.append("http://www.acfun.cn/a/ac"+i['id']+"#album=5003739,0,"+i['sort']+",64")
    
72.         return url_page
    
73.                
    
74. 
    
75. def url_open(url):        
    
76.         req=urllib.request.Request(url)
    
77.         req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36')
    
78.         response=urllib.request.urlopen(req)
    
79.         html=response.read()
    
80.        
    
81.         return html
    
82.                        
    
83. if __name__=="__main__":
    
84.         start = time.clock()
    
85.        
    
86.         if not os.path.exists("C:\\Users\\sj\\Desktop\\123\\Cv"):
    
87.                 os.mkdir('C:\\Users\\sj\\Desktop\\123\\Cv')
    
88.         os.chdir('C:\\Users\\sj\\Desktop\\123\\Cv')
    
89.        
    
90.         url="http://www.acfun.cn/member/special/getSpecialContentPageBySpecial.aspx"
    
91.         url_page=[]
    
92.         threads=[]
    
93.         dict={}
    
94.         maxconnections = 30
    
95.         semlock = threading.BoundedSemaphore(maxconnections)
    
96.        
    
97.         for page in range(1,6):
    
98.                 url_page=get_url(url,page)                       
    
99.                 for i in url_page:                       
    
100.                         html=(url_open(i))
     
101.                         title_name=get_file_name(html)
     
102.                         make_dir(title_name)
     
103.                         dict[title_name]=get_img_url(html)      #字典:{某文件夹：对应图片url}
     
104.                                
     
105.         for file_name,img_url in dict.items():
     
106.                 for each in img_url:
     
107.                        
     
108.                         path='C:\\Users\\sj\\Desktop\\123\\Cv\\'+file_name+'\\'+each.split('/')[-1]
     
109.                        
     
110.                         t=downloader(each,path,semlock)
     
111.                         threads.append(t)
     
112.                        
     
113.         for t in threads:
     
114.                 t.start()
     
115.                
     
116.        
     
117.         for t in threads:
     
118.                 t.join(20)
     
119.                
     
120.         end = time.clock()
     
121.         print (end-start)

复制代码

wei_Y

建议用线程池或异步方式改进。
线程池可简单使用concurrent库里面的ThreadPoolExecutor。

1. with ThreadPoolExecutor(max_work=30) as t:
   
2.     t.submit(requests.get, 'http://www.fishc.com')

复制代码

异步方式第三方可使用aiohttp，gevent等异步库实现。
如果是py3.5以上也可以自己封装一个异步http请求类。

异步例:

1. 
   
2. import asyncio
   
3. 
   
4. import requests
   
5. 
   
6. class Requests(object):
   
7.     def __init__(self):
   
8.         self.headers = headers.copy()
   
9. 
   
10.     @requestsExceptionFilter
    
11.     def get(self, url, **kwargs):
    
12.         if not kwargs.get('headers'):
    
13.             kwargs['headers'] = self.headers
    
14.         return requests.get(url, **kwargs)
    
15.    
    
16.     @requestsExceptionFilter
    
17.     def post(self, url, **kwargs):
    
18.         if not kwargs.get('headers'):
    
19.             kwargs['headers'] = self.headers
    
20. 
    
21.         return requests.post(url, **kwargs)  
    
22. 
    
23. class ARequests(Requests):
    
24.     """
    
25.     一个异步请求类，
    
26.     """
    
27.     def __init__(self, callback):
    
28.         super().__init__()
    
29.         self.callback = callback
    
30. 
    
31.     def __enter__(self):
    
32.         return self
    
33. 
    
34.     def __exit__(self, except_type, value, tb):
    
35.         
    
36.         return True
    
37. 
    
38.     def _httpRequest(self, method, url, kwargs):
    
39.         method = method.upper()
    
40.         if method == 'GET':
    
41.             data = super().get(url, **kwargs)
    
42.         elif method == 'POST':
    
43.             data = super().post(url, **kwargs)
    
44. 
    
45.         return data
    
46. 
    
47.     @asyncio.coroutine
    
48.     def _get(self, url, **kwargs):
    
49.         eventLoop = asyncio.get_event_loop()
    
50.         future = eventLoop.run_in_executor(None, self._httpRequest, 'GET', url, kwargs)
    
51. 
    
52.         data = yield from future
    
53. 
    
54.         return data
    
55. 
    
56.     @asyncio.coroutine
    
57.     def _post(self, url, **kwargs):
    
58.         eventLoop = asyncio.get_event_loop()
    
59.         future = eventLoop.run_in_executor(None, self._httpRequest, 'POST', url, kwargs)
    
60. 
    
61.         data = yield from future
    
62. 
    
63.         return data
    
64. 
    
65.     def get(self, url, **kwargs):
    
66.         eventLoop = asyncio.get_event_loop()
    
67.         future = eventLoop.create_task(self._get(url, **kwargs))
    
68.         future.add_done_callback(self.callback)
    
69. 
    
70.     def post(self, url, **kwargs):
    
71.         eventLoop = asyncio.get_event_loop()
    
72.         future = eventLoop.create_task(self._post(url, **kwargs))
    
73.         future.add_done_callback(self.callback)
    
74. 
    
75. 
    
76. if __name__ == '__main__':
    
77.     import sys
    
78.     eventLoop = asyncio.get_event_loop()
    
79.    
    
80.     urls = ['http://www.fishc.com']*5
    
81. 
    
82.     def printData(future):
    
83.         print(future.result())
    
84.         # 回调函数，下面用的是run_forever，这里需要退出。
    
85.         urls.pop()
    
86.         if not urls:
    
87.             sys.exit()
    
88. 
    
89.     http = ARequests(printData)
    
90.    
    
91.     for i in range(5):
    
92.         http.get(urls[i])
    
93. 
    
94.     eventLoop.run_forever()

复制代码

1. <Response [200]>
   
2. <Response [200]>
   
3. <Response [200]>
   
4. <Response [200]>
   
5. <Response [200]>
   
6. [Finished in 0.6s]

复制代码

Request可以自己用urllib封装下。
异步原理:
http://python.jobbole.com/88291/
装饰器:
http://bbs.fishc.com/thread-77552-1-1.html
多线程:
http://bbs.fishc.com/thread-77760-1-1.html