[已解决]线程池如何使用

风尘岁月

最近在着手写一只爬虫 但是速度慢的感人 所以我决定
用多线程写 写到一半发现这样写我的for循环就没用了
所以 请在座的各位大佬指点一下线程池的食用方法
写完后我会把结果放到论坛的

最佳答案

月排行榜 / 总排行榜

nahongyan1997

2020-7-23 09:15:29

@风尘岁月 我修改了你的代码以实现你提出的问题的解决：

1. #导包
   
2. import requests
   
3. # 这里要这样导入最好
   
4. from time import sleep
   
5. import os
   
6. import threading
   
7. import parsel
   
8. 
   
9. 
   
10. if not os.path.exists('image'):
    
11.     os.mkdir('image')
    
12. 
    
13. 
    
14. #base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'
    
15. 
    
16. headers = {
    
17.     'User-Agent':
    
18.         'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
    
19. }
    
20. 
    
21. 
    
22. def get(url,headers):
    
23.     '''请求数据'''
    
24.     response = requests.get(url,headers)
    
25.     html_data = response.text
    
26.     return html_data
    
27. 
    
28. 
    
29. def parsel_data(html_data):
    
30.     '''筛选数据'''
    
31.     selector = parsel.Selector(html_data)
    
32.     result_list = selector.xpath('//span[@class="img_block_big"]')
    
33. 
    
34.     for result in result_list:
    
35.         image_url = result.xpath('./a/picture/source/img/@src').extract_first()
    
36.         image_id = result.xpath('./a/picture/source/img/@id').extract_first()
    
37. 
    
38.         img_url = 'https:' + image_url #手动拼url
    
39. 
    
40.         all_title = img_url
    
41. 
    
42.         img_data = requests.get(url = all_title,headers = headers).content
    
43. 
    
44. 
    
45.         yield all_title,image_id,img_data
    
46. 
    
47. 
    
48. def save(all_title,image_id,img_data):
    
49.     '''保存数据'''
    
50.     try:
    
51.         with open('image\\' + image_id, mode='wb') as f:
    
52.             print('保存成功:', image_id)
    
53.             f.write(img_data)
    
54. 
    
55.     except:
    
56.         pass
    
57.         print('保存失败:', image_id,'(•́へ•́╬)')
    
58. 
    
59. # 这段代码不能用
    
60. # def sleep(time):
    
61. #     '''休眠'''
    
62. #     time.sleep(time)
    
63. 
    
64. # 使用多线程需要把你重复执行的部分单独写成一个函数
    
65. def start_save(base_url):
    
66.     lock.acquire()
    
67.     html_data = get(url=base_url,headers=headers)
    
68.     for image_data in parsel_data(html_data):
    
69.         all_title = image_data[0] #url https://xxxxxxxxxx...
    
70.         img_id = image_data[1] # ID
    
71.         img_data = image_data[2] #数据
    
72.         save(all_title=all_title, image_id = img_id, img_data = img_data)
    
73.     lock.release()
    
74. def main(page):
    
75.     for page in range(0,page + 1):
    
76.         print('###############正在下载第{}页数据###############'.format(page))
    
77.         if page > 0:
    
78.             print('休息一下')
    
79.             sleep(10)
    
80.         base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'.format(page)
    
81.         print(base_url)
    
82.         # 这里是多线程的开启方式，修改后速度有明显提升
    
83.         my_thread = threading.Thread(target=start_save,args=(base_url,))
    
84.         my_thread.setDaemon(True)
    
85.         my_thread.start()
    
86. 
    
87. 
    
88. if __name__ == '__main__':
    
89.     lock = threading.RLock()
    
90.    
    
91.     main(6300)
    
92. 
    
93. 
    
94. 
    

复制代码

跳转到最佳答案楼层

zltzlt

可以参考：

https://blog.csdn.net/m0_38011218/article/details/81938261
https://www.cnblogs.com/hailin2018/p/12420678.html
https://www.cnblogs.com/randomlee/p/10249338.html

风尘岁月

zltzlt 发表于 2020-7-23 06:54
可以参考：

https://blog.csdn.net/m0_38011218/article/details/81938261

我就是因为这样写才导致for循环不起作用了

风尘岁月

zltzlt

把你的代码发上来看看

风尘岁月

zltzlt 发表于 2020-7-23 07:06
把你的代码发上来看看

1. #导包
   
2. import requests
   
3. import time
   
4. import os
   
5. import threading
   
6. import parsel
   
7. 
   
8. 
   
9. if not os.path.exists('image'):
   
10.     os.mkdir('image')
    
11. 
    
12. 
    
13. #base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'
    
14. 
    
15. headers = {
    
16.     'User-Agent':
    
17.         'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
    
18. }
    
19. 
    
20. 
    
21. def get(url,headers):
    
22.     '''请求数据'''
    
23.     response = requests.get(url,headers)
    
24.     html_data = response.text
    
25.     return html_data
    
26. 
    
27. 
    
28. def parsel_data(html_data):
    
29.     '''筛选数据'''
    
30.     selector = parsel.Selector(html_data)
    
31.     result_list = selector.xpath('//span[@class="img_block_big"]')
    
32. 
    
33.     for result in result_list:
    
34.         image_url = result.xpath('./a/picture/source/img/@src').extract_first()
    
35.         image_id = result.xpath('./a/picture/source/img/@id').extract_first()
    
36. 
    
37.         img_url = 'https:' + image_url #手动拼url
    
38. 
    
39.         all_title = img_url
    
40. 
    
41.         img_data = requests.get(url = all_title,headers = headers).content
    
42. 
    
43. 
    
44.         yield all_title,image_id,img_data
    
45. 
    
46. 
    
47. def save(all_title,image_id,img_data):
    
48.     '''保存数据'''
    
49.     try:
    
50.         with open('image\\' + image_id, mode='wb') as f:
    
51.             print('保存成功:', image_id)
    
52.             f.write(img_data)
    
53. 
    
54.     except:
    
55.         pass
    
56.         print('保存失败:', image_id,'(•́へ•́╬)')
    
57. 
    
58. 
    
59. def sleep(time):
    
60.     '''休眠'''
    
61.     time.sleep(time)
    
62. 
    
63. 
    
64. def main(page):
    
65.     for page in range(0,page + 1):
    
66.         print('###############正在下载第{}页数据###############'.format(page))
    
67.         if page > 0:
    
68.             print('休息一下')
    
69.             sleep(10)
    
70.         base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'.format(page)
    
71.         html_data = get(url=base_url,headers=headers)
    
72.         for image_data in parsel_data(html_data):
    
73.             all_title = image_data[0] #url https://xxxxxxxxxx...
    
74.             img_id = image_data[1] # ID
    
75.             img_data = image_data[2] #数据
    
76.             save(all_title=all_title, image_id = img_id, img_data = img_data)
    
77. 
    
78. 
    
79. 
    
80. if __name__ == '__main__':
    
81.     main(6300)
    
82. 
    
83. 
    
84. 
    
85. 
    
86. 
    

复制代码

风尘岁月

还没审过呢

nahongyan1997

@风尘岁月 我修改了你的代码以实现你提出的问题的解决：

1. #导包
   
2. import requests
   
3. # 这里要这样导入最好
   
4. from time import sleep
   
5. import os
   
6. import threading
   
7. import parsel
   
8. 
   
9. 
   
10. if not os.path.exists('image'):
    
11.     os.mkdir('image')
    
12. 
    
13. 
    
14. #base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'
    
15. 
    
16. headers = {
    
17.     'User-Agent':
    
18.         'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
    
19. }
    
20. 
    
21. 
    
22. def get(url,headers):
    
23.     '''请求数据'''
    
24.     response = requests.get(url,headers)
    
25.     html_data = response.text
    
26.     return html_data
    
27. 
    
28. 
    
29. def parsel_data(html_data):
    
30.     '''筛选数据'''
    
31.     selector = parsel.Selector(html_data)
    
32.     result_list = selector.xpath('//span[@class="img_block_big"]')
    
33. 
    
34.     for result in result_list:
    
35.         image_url = result.xpath('./a/picture/source/img/@src').extract_first()
    
36.         image_id = result.xpath('./a/picture/source/img/@id').extract_first()
    
37. 
    
38.         img_url = 'https:' + image_url #手动拼url
    
39. 
    
40.         all_title = img_url
    
41. 
    
42.         img_data = requests.get(url = all_title,headers = headers).content
    
43. 
    
44. 
    
45.         yield all_title,image_id,img_data
    
46. 
    
47. 
    
48. def save(all_title,image_id,img_data):
    
49.     '''保存数据'''
    
50.     try:
    
51.         with open('image\\' + image_id, mode='wb') as f:
    
52.             print('保存成功:', image_id)
    
53.             f.write(img_data)
    
54. 
    
55.     except:
    
56.         pass
    
57.         print('保存失败:', image_id,'(•́へ•́╬)')
    
58. 
    
59. # 这段代码不能用
    
60. # def sleep(time):
    
61. #     '''休眠'''
    
62. #     time.sleep(time)
    
63. 
    
64. # 使用多线程需要把你重复执行的部分单独写成一个函数
    
65. def start_save(base_url):
    
66.     lock.acquire()
    
67.     html_data = get(url=base_url,headers=headers)
    
68.     for image_data in parsel_data(html_data):
    
69.         all_title = image_data[0] #url https://xxxxxxxxxx...
    
70.         img_id = image_data[1] # ID
    
71.         img_data = image_data[2] #数据
    
72.         save(all_title=all_title, image_id = img_id, img_data = img_data)
    
73.     lock.release()
    
74. def main(page):
    
75.     for page in range(0,page + 1):
    
76.         print('###############正在下载第{}页数据###############'.format(page))
    
77.         if page > 0:
    
78.             print('休息一下')
    
79.             sleep(10)
    
80.         base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'.format(page)
    
81.         print(base_url)
    
82.         # 这里是多线程的开启方式，修改后速度有明显提升
    
83.         my_thread = threading.Thread(target=start_save,args=(base_url,))
    
84.         my_thread.setDaemon(True)
    
85.         my_thread.start()
    
86. 
    
87. 
    
88. if __name__ == '__main__':
    
89.     lock = threading.RLock()
    
90.    
    
91.     main(6300)
    
92. 
    
93. 
    
94. 
    

复制代码

风尘岁月

nahongyan1997 发表于 2020-7-23 09:15
@风尘岁月 我修改了你的代码以实现你提出的问题的解决：

感谢大佬的帮助 速度已经飞起了

nahongyan1997

风尘岁月 发表于 2020-7-23 09:27
感谢大佬的帮助 速度已经飞起了

一秒八张不是开玩笑的

风尘岁月

而且图片很适合宅男

风尘岁月

nahongyan1997 发表于 2020-7-23 09:15
@风尘岁月 我修改了你的代码以实现你提出的问题的解决：

唯一的缺点就是:保存快到连文件管理都没了(可能有一些图片未保存进去)

nahongyan1997

for循环里加点延迟

风尘岁月

nahongyan1997 发表于 2020-7-23 10:00
一秒八张不是开玩笑的

加了还是没有用

nahongyan1997

风尘岁月 发表于 2020-7-23 14:29
加了还是没有用

难道你没发现你下载的图片都没有后缀吗

风尘岁月

这个我早就发现了 已经改好了啊

风尘岁月

nahongyan1997 发表于 2020-7-23 14:32
难道你没发现你下载的图片都没有后缀吗

这个我早就发现了 在上传后我才发现的 现在的问题是有写保存成功 但是却没有(有几张)

风尘岁月

nahongyan1997 发表于 2020-7-23 14:32
难道你没发现你下载的图片都没有后缀吗

我Q:732434975  在论坛讨论这个我没法给你看实例

风尘岁月

nahongyan1997 发表于 2020-7-23 14:32
难道你没发现你下载的图片都没有后缀吗

录个视频给你看 大佬