[已解决]关于多线程保存图片的半异常

风尘岁月

上代码

1. # 导包
   
2. import requests
   
3. from time import sleep
   
4. import os
   
5. import threading
   
6. import parsel
   
7. 
   
8. if not os.path.exists('image'):
   
9.     os.mkdir('image')
   
10. 
    
11. # base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'
    
12. 
    
13. headers = {
    
14.     'User-Agent':
    
15.         'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
    
16. }
    
17. 
    
18. 
    
19. def get(url, headers):
    
20.     '''请求数据'''
    
21.     response = requests.get(url, headers)
    
22.     html_data = response.text
    
23.     return html_data
    
24. 
    
25. 
    
26. def parsel_data(html_data):
    
27.     '''筛选数据'''
    
28.     selector = parsel.Selector(html_data)
    
29.     result_list = selector.xpath('//span[@class="img_block_big"]')
    
30. 
    
31.     for result in result_list:
    
32.         image_url = result.xpath('./a/picture/source/img/@src').extract_first()
    
33.         image_id = result.xpath('./a/picture/source/img/@id').extract_first()
    
34. 
    
35.         img_url = 'https:' + image_url  # 手动拼url
    
36. 
    
37.         all_title = img_url
    
38.         img_name = image_id + '.' + img_url.split('.')[-1]
    
39. 
    
40.         img_data = requests.get(url=all_title, headers=headers).content
    
41. 
    
42.         yield all_title, image_id, img_data, img_name
    
43. 
    
44. 
    
45. def save(all_title, image_id, img_data,img_name):
    
46.     '''保存数据'''
    
47.     try:
    
48.         with open('image\\' + img_name, mode='wb') as f:
    
49.             print('保存成功:', image_id)
    
50.             f.write(img_data)
    
51. 
    
52.     except:
    
53.         pass
    
54.         print('保存失败:', image_id, '(|･ω･` ))')
    
55. 
    
56. 
    
57. def start_save(base_url):
    
58.     html_data = get(url=base_url, headers=headers)
    
59.     for image_data in parsel_data(html_data):
    
60.         all_title = image_data[0]  # url https://xxxxxxxxxx...
    
61.         img_id = image_data[1]  # ID
    
62.         img_data = image_data[2]  # 数据
    
63.         img_name = image_data[3] #文件名
    
64.         save(all_title=all_title, image_id=img_id, img_data=img_data,img_name = img_name)
    
65.         sleep(5)
    
66. 
    
67. def main(page):
    
68.     for page in range(0, page + 1):
    
69.         print('###############正在下载第{}页数据###############'.format(page))
    
70.         base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'.format(page)
    
71.         if page>0:
    
72.             print('休息哈|ू･ω･` )')
    
73.             sleep(2)
    
74.         my_thread = threading.Thread(target=start_save, args=(base_url,)) #启动多线程
    
75.         my_thread.setDaemon(True)
    
76.         my_thread.start()
    
77.        
    
78. 
    
79. if __name__ == '__main__':
    
80.     lock = threading.RLock()
    
81. 
    
82.     main(6300)
    
83. 
    

复制代码

异常，这个异常很奇怪
他一直显示保存成功 但是 实际的文件夹之保存了几张而已

最佳答案

月排行榜 / 总排行榜

nahongyan1997

2020-7-24 10:56:13

问题已解决，三十秒内下载了上千张图片。
请看代码：

1. # 导包
   
2. import requests
   
3. from time import sleep
   
4. import os
   
5. import threading
   
6. import parsel
   
7. import random
   
8. 
   
9. if not os.path.exists('image'):
   
10.     os.mkdir('image')
    
11. 
    
12. # base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'
    
13. 
    
14. headers = {
    
15.     'User-Agent':
    
16.         'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
    
17. }
    
18. 
    
19. 
    
20. def get(url, headers):
    
21.     '''请求数据'''
    
22.     response = requests.get(url, headers)
    
23.     html_data = response.text
    
24.     return html_data
    
25. 
    
26. 
    
27. def parsel_data(html_data):
    
28.     '''筛选数据'''
    
29.     selector = parsel.Selector(html_data)
    
30.     result_list = selector.xpath('//span[@class="img_block_big"]')
    
31. 
    
32.     for result in result_list:
    
33.         image_url = result.xpath('./a/picture/source/img/@src').extract_first()
    
34.         image_id = result.xpath('./a/picture/source/img/@id').extract_first()
    
35. 
    
36.         img_url = 'https:' + image_url  # 手动拼url
    
37. 
    
38.         all_title = img_url
    
39.         img_name = image_id + '.' + img_url.split('.')[-1]
    
40. 
    
41.         img_data = requests.get(url=all_title, headers=headers).content
    
42. 
    
43.         yield all_title, image_id, img_data, img_name
    
44. 
    
45. 
    
46. def save(all_title, image_id, img_data,img_name):
    
47.     '''保存数据'''
    
48.     try:
    
49.         with open('image\\' + str(random.randint(0,1000000)) + os.path.splitext(img_name)[1], mode='wb') as f:
    
50.             print('保存成功:', image_id)
    
51.             f.write(img_data)
    
52.     except:
    
53.         print('保存失败:', image_id, '(|･ω･` ))')
    
54. 
    
55. 
    
56. def start_save(base_url):
    
57.     html_data = get(url=base_url, headers=headers)
    
58.     for image_data in parsel_data(html_data):
    
59.         all_title = image_data[0]  # url https://xxxxxxxxxx...
    
60.         img_id = image_data[1]  # ID
    
61.         img_data = image_data[2]  # 数据
    
62.         img_name = image_data[3] #文件名
    
63.         save(all_title=all_title, image_id=img_id, img_data=img_data,img_name = img_name)            
    
64. 
    
65. def main(page):
    
66.     for page in range(0, page + 1):
    
67.         print('###############正在下载第{}页数据###############'.format(page))
    
68.         base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'.format(page)
    
69.         if page>0:
    
70.             print('休息哈|ू･ω･` )')
    
71.             sleep(2)
    
72. 
    
73.         my_thread = threading.Thread(target=start_save, args=(base_url,)) #启动多线程
    
74.         my_thread.setDaemon(True)
    
75.         my_thread.start()
    
76. 
    
77.         
    
78. 
    
79. if __name__ == '__main__':
    
80.     lock = threading.RLock()
    
81.     main(6300)
    
82. 
    

复制代码

跳转到最佳答案楼层

nahongyan1997

可以用主线程专门负责下载数据并用一个全局变量列表保存，创建一个子线程专门用来保存文件。
这样就不会影响下载速度而且因为只用一个线程在保存文件所以不会出现 IO 丢失的现象。

风尘岁月

nahongyan1997 发表于 2020-7-23 23:00
可以用主线程专门负责下载数据并用一个全局变量列表保存，创建一个子线程专门用来保存文件。
这样就不会影 ...

我把每一个函数都上过一次锁 结果都没用 说白点就是我不知道他的资源竞争哪里

nahongyan1997

除了子线程函数其他函数上锁没有任何用处，推荐按我的方法修改一下程序，不影响下载速度只影响保存速度，也不会慢多少。

风尘岁月

nahongyan1997 发表于 2020-7-24 07:33
除了子线程函数其他函数上锁没有任何用处，推荐按我的方法修改一下程序，不影响下载速度只影响保存速度，也 ...

我造诣浅薄 只会使用线程最表层的 还请大佬举个例子(听不懂大佬讲的子线程和IO
啊)

nahongyan1997

主线程里用 threading 开的线程就是子线程，IO 就是 input，output。

写文件就是 文件 Input，也就是 I 。

nahongyan1997

问题已解决，三十秒内下载了上千张图片。
请看代码：

1. # 导包
   
2. import requests
   
3. from time import sleep
   
4. import os
   
5. import threading
   
6. import parsel
   
7. import random
   
8. 
   
9. if not os.path.exists('image'):
   
10.     os.mkdir('image')
    
11. 
    
12. # base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'
    
13. 
    
14. headers = {
    
15.     'User-Agent':
    
16.         'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
    
17. }
    
18. 
    
19. 
    
20. def get(url, headers):
    
21.     '''请求数据'''
    
22.     response = requests.get(url, headers)
    
23.     html_data = response.text
    
24.     return html_data
    
25. 
    
26. 
    
27. def parsel_data(html_data):
    
28.     '''筛选数据'''
    
29.     selector = parsel.Selector(html_data)
    
30.     result_list = selector.xpath('//span[@class="img_block_big"]')
    
31. 
    
32.     for result in result_list:
    
33.         image_url = result.xpath('./a/picture/source/img/@src').extract_first()
    
34.         image_id = result.xpath('./a/picture/source/img/@id').extract_first()
    
35. 
    
36.         img_url = 'https:' + image_url  # 手动拼url
    
37. 
    
38.         all_title = img_url
    
39.         img_name = image_id + '.' + img_url.split('.')[-1]
    
40. 
    
41.         img_data = requests.get(url=all_title, headers=headers).content
    
42. 
    
43.         yield all_title, image_id, img_data, img_name
    
44. 
    
45. 
    
46. def save(all_title, image_id, img_data,img_name):
    
47.     '''保存数据'''
    
48.     try:
    
49.         with open('image\\' + str(random.randint(0,1000000)) + os.path.splitext(img_name)[1], mode='wb') as f:
    
50.             print('保存成功:', image_id)
    
51.             f.write(img_data)
    
52.     except:
    
53.         print('保存失败:', image_id, '(|･ω･` ))')
    
54. 
    
55. 
    
56. def start_save(base_url):
    
57.     html_data = get(url=base_url, headers=headers)
    
58.     for image_data in parsel_data(html_data):
    
59.         all_title = image_data[0]  # url https://xxxxxxxxxx...
    
60.         img_id = image_data[1]  # ID
    
61.         img_data = image_data[2]  # 数据
    
62.         img_name = image_data[3] #文件名
    
63.         save(all_title=all_title, image_id=img_id, img_data=img_data,img_name = img_name)            
    
64. 
    
65. def main(page):
    
66.     for page in range(0, page + 1):
    
67.         print('###############正在下载第{}页数据###############'.format(page))
    
68.         base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'.format(page)
    
69.         if page>0:
    
70.             print('休息哈|ू･ω･` )')
    
71.             sleep(2)
    
72. 
    
73.         my_thread = threading.Thread(target=start_save, args=(base_url,)) #启动多线程
    
74.         my_thread.setDaemon(True)
    
75.         my_thread.start()
    
76. 
    
77.         
    
78. 
    
79. if __name__ == '__main__':
    
80.     lock = threading.RLock()
    
81.     main(6300)
    
82. 
    

复制代码