多线程复制文件，在线程启动时出现了问题

苏瓦奥术

1. import os
   
2. import hashlib
   
3. from threading import Thread, Lock
   
4. import time
   
5. 
   
6. ORIGIN_PATH = r'F:\Python\拷贝\test1'
   
7. TARGET_PATH = r'F:\Python\拷贝\test2'
   
8. 
   
9. all_filename = os.listdir(ORIGIN_PATH)
   
10. # print(all_filename)
    
11. th_ls = []
    
12. lock = Lock()
    
13. count = 0
    
14. ls = []
    
15. 
    
16. pro = []
    
17. 
    
18. CHUNKSIZE = 4096    # 每次读取文件的字节数
    
19. def copy_hashFile(filename,path=None, write_filename=None):
    
20.     '''
    
21.     对文件做hash
    
22.     '''
    
23.     def myCopy():
    
24.         # 以二进制的形式在文件末尾追加写入
    
25.         with open(path + os.sep + write_filename, 'ab') as f:
    
26.             f.write(chunk)
    
27.     h = hashlib.sha256()
    
28.     with open(filename, 'rb') as f:
    
29.         while True:
    
30.             chunk = f.read(CHUNKSIZE)
    
31.             if not chunk:   # 当读文件到结尾处时，跳出循环
    
32.                 pro.append(filename)
    
33.                 break
    
34.             h.update(chunk)
    
35.             if path:
    
36.                 # 开始循环写入文件
    
37.                 myCopy()
    
38.     return h.hexdigest()    # 得到文件最终的hash值
    
39. 
    
40. def main():
    
41.     global count
    
42.     while True:
    
43.         if not all_filename:
    
44.             os._exit(0)
    
45.         with lock:
    
46.             filename = all_filename.pop()
    
47.         # print(filename)
    
48.         # 在目标文件夹下创建一个空文件
    
49.         # print(ORIGIN_PATH + os.sep + filename)
    
50.         with open(TARGET_PATH + os.sep + filename, 'w'):
    
51.             pass
    
52.         # 获得原文件hash值并将其复制到目标文件夹下
    
53.         hash_number1 = copy_hashFile(ORIGIN_PATH + os.sep + filename, TARGET_PATH, filename)
    
54.         # 获得复制后的hash值
    
55.         hash_number2 = copy_hashFile(TARGET_PATH + os.sep + filename)
    
56.         
    
57.         # 比较hash值
    
58.         if hash_number1 == hash_number2:
    
59.             with lock:
    
60.                 count += 1
    
61.             print(str(count) + '  ' + filename + '文件复制成功')
    
62.         else:
    
63.             with lock:
    
64.                 count += 1
    
65.                 ls.append(filename)
    
66.             print(str(count) + '  ' + filename + '文件复制失败')
    
67. 
    
68. 
    
69. 
    
70. for _ in range(20):
    
71.     th = Thread(target=main)
    
72.     th_ls.append(th)
    
73. 
    
74. # 不清楚为什么
    
75. # 只有sleep 1秒以上后才不会出错
    
76. for each in th_ls:
    
77.     each.start()
    
78.     time.sleep(5)
    
79. 
    
80. 
    
81. while True:
    
82.     # print(not all_filename)
    
83.     # time.sleep(1.5)
    
84.     if not all_filename:
    
85.         for each in th_ls:
    
86.             each.join()
    

复制代码

代码如上，我之前在复制测试文件的时候，一直有几个文件无法复制，在添加了sleep(1)后才成功，后来复制更多更大的文件后，复制的成功率随着sleep的时间增加而增加，这是为什么呢？
求大佬 ！

苏瓦奥术

发现了问题所在了，是那个os._exit(0)导致的，这行代码还会导致线程无法回收，改成break就行了。
唉，事实证明Python的多线程IO还是比不过单线程，单线程的代码比这快多了

°蓝鲤歌蓝

读写文件这种 磁盘 io 用多线程是会快一些的，慢了说明哪里用的不对。

陈尚涵

对啊，这一般都用多线程