jupyter和python代码运行多线程爬虫问题

tq1258

在学习python多线程爬取斗图啦热门图片的问题：
        在jupyter和python shell执行queue多线程爬取图片，第一次执行命令没问题，第二次再执行就没有反应了，是因为锁的问题么？
        而且爬取的图片少了很多       下面是代码：
      

1. <blockquote>import requests

复制代码

zltzlt

代码呢？

tq1258

1. import requests
   
2. from lxml import etree
   
3. from urllib import request
   
4. import os
   
5. import re
   
6. from queue import Queue
   
7. import threading
   
8. 
   
9. class Producer(threading.Thread):
   
10.     headers = {
    
11.         'UserAgent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
    
12.     }
    
13.     def __init__(self, page_queue, img_queue, *args, **kwargs):
    
14.         super(Producer, self).__init__(*args, **kwargs)
    
15.         self.page_queue = page_queue
    
16.         self.img_queue = img_queue
    
17.         
    
18.     def run(self):
    
19.         while True:
    
20.             if self.page_queue.empty():
    
21.                 break
    
22.             url = self.page_queue.get()
    
23.             self.parse_page(url)
    
24.             
    
25.     def parse_page(self, url):
    
26.         response = requests.get(url, headers=self.headers)
    
27.         text = response.text
    
28.         html = etree.HTML(text)
    
29.         imgs = html.xpath('//div[@class="page-content text-center"]//img[@class!="gif"]')
    
30.         for img in imgs:
    
31.             img_url = img.get('data-original')
    
32.             alt = img.get('alt')
    
33.             alt = re.sub('[\?？，。！\.\/\*]','',alt)
    
34.             suffix = os.path.splitext(img_url)[1]
    
35.             filename = alt + suffix
    
36.             self.img_queue.put((img_url,filename))
    
37.             
    
38. class Consumer(threading.Thread):
    
39.     def __init__(self, page_queue, img_queue, *args, **kwargs):
    
40.         super(Consumer, self).__init__(*args, **kwargs)
    
41.         self.page_queue = page_queue
    
42.         self.img_queue = img_queue
    
43.    
    
44.     def run(self):
    
45.         while True:
    
46.             if self.img_queue.empty() and self.page_queue.empty():
    
47.                 break
    
48.             img_url,filename = self.img_queue.get()
    
49.             request.urlretrieve(img_url, 'D:/爬取内容/图片/斗图啦/'+filename)
    
50.             print(filename + '  下载完成！')
    
51.             
    
52. def main():
    
53.     page_queue = Queue(100)
    
54.     img_queue = Queue(1000)
    
55.     for x in range(1, 101):
    
56.         url = 'http://www.doutula.com/photo/list/?page=%d'%x
    
57.         page_queue.put(url)
    
58.         
    
59.     for x in range(5):
    
60.         t = Producer(page_queue, img_queue)
    
61.         t.start()
    
62.         
    
63.     for x in range(5):
    
64.         t = Consumer(page_queue, img_queue)
    
65.         t.start()
    
66. 
    
67. if __name__ == '__main__':
    
68.     main()

复制代码

tq1258

zltzlt 发表于 2019-10-5 08:54
代码呢？

在下面，第一次放的时候好像没弄好

塔利班

有可能是没上锁的问题，一起争抢全局queue

tq1258

塔利班 发表于 2019-10-5 09:21
有可能是没上锁的问题，一起争抢全局queue

感觉很可能，但是我看视频上说用queue是安全的不会发生争抢行为，他也是运行了不止一遍，每一遍都可以执行

塔利班

tq1258 发表于 2019-10-5 09:35
感觉很可能，但是我看视频上说用queue是安全的不会发生争抢行为，他也是运行了不止一遍，每一遍都可以执 ...

如果是安全的话可能就是cunsumer的判断if快，判断你的imgqueue还是空的，所以直接停了