python3 多进程复制文件，多线程复制文件加显示进度条（持续更新）Rev03

Cool_Breeze

##############
# 还没有写完
# 欢迎大佬指点
##############


# 先就这样吧

1. '''
   
2. @ BY Cool_Breeze
   
3. @ Rev 03
   
4. @ 2020/08/10
   
5. '''
   
6. 
   
7. 
   
8. #coding=utf-8
   
9. 
   
10. import shutil
    
11. import os
    
12. import time
    
13. from multiprocessing import Process,Pool,Queue,Manager
    
14. from threading import Thread
    
15. from concurrent.futures import ThreadPoolExecutor
    
16. 
    
17. 
    
18. class copyf_show:
    
19.     '''
    
20.     # 多进程复制文件
    
21.     # 多进程复制文件加显示进度
    
22.     # despath 目标目录
    
23.     # soupath 源目录
    
24.     '''
    
25.     def __init__(self, despath, soupath):
    
26.         self.d = despath
    
27.         self.s = soupath
    
28.         self.st = os.path.dirname(soupath)
    
29.         self.q = Manager().Queue()
    
30.         self.show_d = {} #show
    
31.         self.count = 0 #show
    
32.         self.total = 0 #show
    
33.         if not os.path.isdir(self.d): os.mkdir(self.d)
    
34. 
    
35.     def pro_pool(self):
    
36.         '''
    
37.         # 实时复制文件
    
38.         # 先启动扫描目录，向管道发送数据
    
39.         # 开启进程池，等待管道接受数据
    
40.         # 一个进程复制一个目录层文件
    
41.         '''
    
42.         print('正在从 {} 复制所有文件到 {}'.format(self.s, self.d))
    
43.         time_node = time.time()
    
44.         count = 0
    
45.         ps = Process(target=self.scanfile)
    
46.         ps.start()
    
47.         p = Pool() #进程数量
    
48.         while True:
    
49.             if self.q.empty(): continue
    
50.             t = self.q.get()
    
51.             if not t: break
    
52.             count += len(list(t.values())[0])
    
53.             p.apply_async(self.pro_cp, (t,))
    
54.         ps.join()
    
55.         p.close()
    
56.         p.join()
    
57.         print('总计文件数量：{}\n耗时：{} 秒'.format(count,round(time.time() - time_node, 2)))
    
58. 
    
59.     def scanfile(self):
    
60.         '''
    
61.         # 扫描一层目录，生成字典
    
62.         # 绝对路径为key，文件列表为值
    
63.         # 向管道发送字典
    
64.         '''
    
65.         for root,dirs,files in os.walk(self.s):
    
66.             self.q.put({root:files})
    
67.         self.q.put(False)
    
68. 
    
69.     def pro_cp(self, dif):
    
70.         '''
    
71.         # 判断目标目录是否存在
    
72.         # 切换路径，复制文件
    
73.         '''
    
74.         dpa = list(dif.keys())[0].replace(self.st, self.d)
    
75.         if not os.path.isdir(dpa): os.mkdir(dpa)
    
76.         os.chdir(dpa)
    
77.         for i,j in dif.items():
    
78.             for nn in [os.path.join(i,k) for k in j]:
    
79.                 shutil.copy(nn, dpa)
    
80.         
    
81.     def show_fun(self):
    
82.         '''
    
83.         # 开启线程城池复制文件并打印进度条
    
84.         '''
    
85.         print('正在从 {} 复制所有文件到 {}'.format(self.s, self.d))
    
86.         self.show_scanfile()
    
87.         self.count = 0
    
88.         print('总计文件数量：{}'.format(self.total))
    
89.         pp = Thread(target=self.show_pgr)
    
90.         pp.setDaemon(True)# 主程序退出结束
    
91.         pp.start()
    
92.         for d,f in self.show_d.items():
    
93.             self.show_pool(d, f)
    
94.         pp.join()
    
95. 
    
96.     def show_pgr(self):
    
97.         '''
    
98.         # 进度条
    
99.         # 已复制数除以总数乘以100
    
100.         # 计时
     
101.         '''
     
102.         time_node = time.time()
     
103.         while True:
     
104.             cls = round(self.count/self.total*100)
     
105.             print('\r{:<100} {}%'.format('*'*cls, cls),end='')
     
106.             if cls == 100:
     
107.                 print('\n耗时：{} 秒'.format(round((time.time() - time_node), 2)))
     
108.                 break
     
109.             time.sleep(0.1)
     
110. 
     
111.     def show_scanfile(self):
     
112.         '''
     
113.         # 扫描一层目录，生成字典
     
114.         # 绝对路径为key，文件列表为值
     
115.         #
     
116.         '''
     
117.         for root,dirs,files in os.walk(self.s):
     
118.             self.total += len(files)
     
119.             self.show_d.update({root:files})
     
120. 
     
121.     def show_pool(self, root, fl):
     
122.         '''
     
123.         # root = 目录, fl = 文件列表
     
124.         # 多线程
     
125.         '''
     
126.         dpa = root.replace(self.st, self.d)
     
127.         if not os.path.isdir(dpa): os.mkdir(dpa)
     
128.         os.chdir(dpa)
     
129.         with ThreadPoolExecutor(None, self.show_cp) as p:
     
130.             p.map(self.show_cp, [(root + os.sep + f, dpa) for f in fl])
     
131.         p.shutdown()
     
132.         self.count += len(fl)
     
133. 
     
134.     def show_cp(self, file):
     
135.         '''
     
136.         # 绝对路径
     
137.         # 复制文件file = (src, dst)
     
138.         '''
     
139.         shutil.copy(file[0], file[1])
     
140. 
     
141. 
     
142. if __name__ == '__main__':
     
143.     path = r'D:\GIN\py\pool_copy_file\t'
     
144.     soup = r'D:\GIN\py\photo\photo'
     
145.     t = copyf_show(path, soup)
     
146.     t.pro_pool()
     
147.     t.show_fun()
     
148.     print('Done!')

复制代码

###############
测试结果：

1. 正在从 D:\GIN\py\photo\photo 复制所有文件到 D:\GIN\py\pool_copy_file\t
   
2. 总计文件数量：2296
   
3. 耗时：2.82 秒
   
4. 正在从 D:\GIN\py\photo\photo 复制所有文件到 D:\GIN\py\pool_copy_file\t
   
5. 总计文件数量：2296
   
6. **************************************************************************************************** 100%
   
7. 耗时：2.91 秒
   
8. Done!
   
9. 
   
10. 请按任意键继续. . .
    

复制代码

Cool_Breeze

1. 正在从 C:\user\穿越火线 复制所有文件到 D:\腾讯游戏
   
2. 总计文件数量：14372
   
3. **************************************************************************************************** 100%
   
4. 耗时：239.89 秒
   
5. 正在从 C:\user\英雄联盟 复制所有文件到 D:\腾讯游戏
   
6. 总计文件数量：39048
   
7. ***************                                                                                      15%
   

复制代码

hrp

这个厉害了，但是看你的变量名简写真的太难受了哈哈哈

Cool_Breeze

hrp 发表于 2020-8-11 00:36
这个厉害了，但是看你的变量名简写真的太难受了哈哈哈

哈哈，复制大量小文件还不错！那个错误处理没有写！