pycharm调试没问题运行就卡住

xmpython

今天用pycharm写了一个下载图片的多线程小爬虫，单步调试可以正常下载图片，但是一运行就会卡住，但是调试很正常啊，也不知道是咋回事，这是什么操作啊

发一下代码，由于爬的是一个不太正经的网站（没有反爬，你懂得 ）
这是卡住截图
https://imgchr.com/i/YT9VyV

                               
登录/注册后可看大图

1. import requests
   
2. from fake_useragent import UserAgent
   
3. import os
   
4. import threading
   
5. from lxml import etree
   
6. from queue import Queue
   
7. import time
   
8. import re
   
9. 
   
10. 
    
11. class Producer(threading.Thread):
    
12.     headers = {
    
13.         "Referer": "https://www.隐藏.com",
    
14.         "User-Agent": UserAgent().random
    
15.     }
    
16. 
    
17.     def __init__(self, page_queue, img_queue):
    
18.         threading.Thread.__init__(self)
    
19.         self.page_queue = page_queue
    
20.         self.img_queue = img_queue
    
21. 
    
22.     def get_url(self, page_url):
    
23.         re1 = requests.get(page_url, headers=self.headers)
    
24.         e1 = etree.HTML(re1.text)
    
25.         title_urls_half = e1.xpath("//div[@class='box list channel']/ul/li/a/@href")
    
26.         zhu_url = get_zhuye()
    
27.         for title_urls in title_urls_half:
    
28.             title_url = zhu_url + title_urls
    
29.             re2 = requests.get(title_url, headers=self.headers)
    
30.             e2 = etree.HTML(re2.text)
    
31.             img_urls = e2.xpath("//div[@class='content']/p/img/@src")
    
32.             for img_url in img_urls:
    
33.                 self.img_queue.put(img_url)
    
34.                 # img_url 就是图片地址
    
35. 
    
36.     def run(self):
    
37.         while self.page_queue.empty() == False:
    
38.             page_url = self.page_queue.get()
    
39.             self.get_url(page_url)
    
40. 
    
41. 
    
42. class Consumer(threading.Thread):
    
43.     headers = {
    
44.         "Referer": "https://www.隐藏.com",
    
45.         "User-Agent": UserAgent().random
    
46.     }
    
47. 
    
48.     def __init__(self, page_queue, img_queue):
    
49.         threading.Thread.__init__(self)
    
50.         self.page_queue = page_queue
    
51.         self.img_queue = img_queue
    
52. 
    
53.     def run(self):
    
54.         while True:
    
55.             time.sleep(2)
    
56.             if self.img_queue.empty():
    
57.                 break
    
58.             img_url = self.img_queue.get()
    
59.             filename = img_url.split("/")[-1]
    
60.             try:
    
61.                 response = requests.get(img_url, headers=self.headers, timeout=5)
    
62.                 print(img_url)
    
63.                 with open(filename, "wb") as f:
    
64.                     f.write(response.content)
    
65.             except:
    
66.                 print("超时")
    
67. 
    
68. 
    
69. def get_zhuye():
    
70.     headers = {
    
71.         "Referer": "https://www.隐藏.com",
    
72.         "User-Agent": UserAgent().random
    
73.     }
    
74.     base_url = "https://www.隐藏.com"
    
75.     response = requests.get(base_url, headers=headers)
    
76.     zhu_url = re.findall(r'window\.location\.href="(.+?)"', response.text)[0][:-1]
    
77.     return zhu_url
    
78. 
    
79. 
    
80. def main():
    
81.     zhu_url = get_zhuye()
    
82.     page_queue = Queue(50)
    
83.     img_queue = Queue(1000)
    
84. 
    
85.     a = int(input("输入下载开始的页码（≥2）："))
    
86.     b = int(input("输入下载结束的页码（≥2）："))
    
87.     for x in range(a, b + 1):
    
88.         page_url = zhu_url + "/pic/2/index_%d.html" % x
    
89.         page_queue.put(page_url)
    
90. 
    
91.     for x in range(5):
    
92.         t = Producer(page_queue, img_queue)
    
93.         t.start()
    
94.         # t.join()
    
95. 
    
96.     for x in range(5):
    
97.         t = Consumer(page_queue, img_queue)
    
98.         t.start()
    
99.         # t.join()
    
100. 
     
101. 
     
102. if __name__ == '__main__':
     
103.     images_path = os.path.join(os.path.dirname(__file__), "images")
     
104.     if not os.path.exists(images_path):
     
105.         os.mkdir(images_path)
     
106.     os.chdir(images_path)
     
107.     main()

复制代码

Twilight6

怎么个卡法？截图吧
如何正确地发代码、上传图片和附件？
https://fishc.com.cn/thread-52272-1-1.html
(出处: 鱼C论坛)
图片上传QQ空间或者图床 复制图片链接 发上来

xmpython

Twilight6 发表于 2020-5-20 13:48
怎么个卡法？截图吧
如何正确地发代码、上传图片和附件？
https://fishc.com.cn/thread-52272-1-1.html

下面是代码和图片，因为爬的是一个不太正经的网站（没有反爬），所以把网址隐藏了，不知道会不会影响你研究
图片：

                               
登录/注册后可看大图

1. import requests
   
2. from fake_useragent import UserAgent
   
3. import os
   
4. import threading
   
5. from lxml import etree
   
6. from queue import Queue
   
7. import time
   
8. import re
   
9. 
   
10. 
    
11. class Producer(threading.Thread):
    
12.     headers = {
    
13.         "Referer": "https://www.隐藏.com",
    
14.         "User-Agent": UserAgent().random
    
15.     }
    
16. 
    
17.     def __init__(self, page_queue, img_queue):
    
18.         threading.Thread.__init__(self)
    
19.         self.page_queue = page_queue
    
20.         self.img_queue = img_queue
    
21. 
    
22.     def get_url(self, page_url):
    
23.         re1 = requests.get(page_url, headers=self.headers)
    
24.         e1 = etree.HTML(re1.text)
    
25.         title_urls_half = e1.xpath("//div[@class='box list channel']/ul/li/a/@href")
    
26.         zhu_url = get_zhuye()
    
27.         for title_urls in title_urls_half:
    
28.             title_url = zhu_url + title_urls
    
29.             re2 = requests.get(title_url, headers=self.headers)
    
30.             e2 = etree.HTML(re2.text)
    
31.             img_urls = e2.xpath("//div[@class='content']/p/img/@src")
    
32.             for img_url in img_urls:
    
33.                 self.img_queue.put(img_url)
    
34.                 # img_url 就是图片地址
    
35. 
    
36.     def run(self):
    
37.         while self.page_queue.empty() == False:
    
38.             page_url = self.page_queue.get()
    
39.             self.get_url(page_url)
    
40. 
    
41. 
    
42. class Consumer(threading.Thread):
    
43.     headers = {
    
44.         "Referer": "https://www.隐藏.com",
    
45.         "User-Agent": UserAgent().random
    
46.     }
    
47. 
    
48.     def __init__(self, page_queue, img_queue):
    
49.         threading.Thread.__init__(self)
    
50.         self.page_queue = page_queue
    
51.         self.img_queue = img_queue
    
52. 
    
53.     def run(self):
    
54.         while True:
    
55.             time.sleep(2)
    
56.             if self.img_queue.empty():
    
57.                 break
    
58.             img_url = self.img_queue.get()
    
59.             filename = img_url.split("/")[-1]
    
60.             try:
    
61.                 response = requests.get(img_url, headers=self.headers, timeout=5)
    
62.                 print(img_url)
    
63.                 with open(filename, "wb") as f:
    
64.                     f.write(response.content)
    
65.             except:
    
66.                 print("超时")
    
67. 
    
68. 
    
69. def get_zhuye():
    
70.     headers = {
    
71.         "Referer": "https://www.隐藏.com",
    
72.         "User-Agent": UserAgent().random
    
73.     }
    
74.     base_url = "https://www.隐藏.com"
    
75.     response = requests.get(base_url, headers=headers)
    
76.     zhu_url = re.findall(r'window\.location\.href="(.+?)"', response.text)[0][:-1]
    
77.     return zhu_url
    
78. 
    
79. 
    
80. def main():
    
81.     zhu_url = get_zhuye()
    
82.     page_queue = Queue(50)
    
83.     img_queue = Queue(1000)
    
84. 
    
85.     a = int(input("输入下载开始的页码（≥2）："))
    
86.     b = int(input("输入下载结束的页码（≥2）："))
    
87.     for x in range(a, b + 1):
    
88.         page_url = zhu_url + "/pic/2/index_%d.html" % x
    
89.         page_queue.put(page_url)
    
90. 
    
91.     for x in range(5):
    
92.         t = Producer(page_queue, img_queue)
    
93.         t.start()
    
94.         # t.join()
    
95. 
    
96.     for x in range(5):
    
97.         t = Consumer(page_queue, img_queue)
    
98.         t.start()
    
99.         # t.join()
    
100. 
     
101. 
     
102. if __name__ == '__main__':
     
103.     images_path = os.path.join(os.path.dirname(__file__), "images")
     
104.     if not os.path.exists(images_path):
     
105.         os.mkdir(images_path)
     
106.     os.chdir(images_path)
     
107.     main()
     

复制代码

suchocolate

发你的代码和报错截图

xmpython

suchocolate 发表于 2020-5-20 14:57
发你的代码和报错截图

我发过了竟然还在审核

xmpython

suchocolate 发表于 2020-5-20 14:57
发你的代码和报错截图

审核通过了，代码和图，如果需要具体的网址的话我也可以给你

关键是单步调试可以正常下载正常跑，说明程序是正确的，但是一运行就卡住，这才是最神奇最吐血的地方