python3 多线程浏览文件夹

Cool_Breeze

# 反而比单线程慢。
# 是cpu限制了吗？双核cpu
# 线程暴增！
# 方法或者方向错了？

1. '''
   
2. # 多线程加递归
   
3. # BUG未知
   
4. # 测试版
   
5. # 可以导入re模块正则匹配文件
   
6. # by GIN
   
7. # 2020/07/28
   
8. '''
   
9. 
   
10. #coding=utf-8
    
11. 
    
12. import os
    
13. import threading
    
14. import time
    
15. 
    
16. 
    
17. 
    
18. COUNT = 0 #文件数量
    
19. P = r'd:\\'
    
20. 
    
21. def test(fun):
    
22.     def pk(*args, **kw):
    
23.         b = time.time()
    
24.         fun(*args, **kw)
    
25.         print(time.time() - b)
    
26.     return pk
    
27. 
    
28. 
    
29. def dir_parse(path):
    
30.     # global COUNT
    
31.     # print(path)
    
32.     for root,dirs,files in os.walk(path):
    
33.         #print(path, '===',len(files)) #当前文件夹下面的文件数量
    
34.         global COUNT
    
35.         COUNT += len(files)
    
36.         if dirs:
    
37.             th = [mythread(dir_parse, root + os.sep + i) for i in dirs]
    
38.             for i in th:
    
39.                 i.start()
    
40.             for j in th:
    
41.                 j.join()
    
42.             dirs.clear()
    
43.             # return [os.path.join(root,i) for i in dirs]
    
44.         else:
    
45.             return None
    
46. 
    
47. 
    
48. class mythread(threading.Thread):
    
49.     def __init__(self, fun, agrs):
    
50.         threading.Thread.__init__(self)
    
51.         self.fun = fun
    
52.         self.agrs = agrs
    
53.     def run(self):
    
54.         self.fun(self.agrs)
    
55. 
    
56. 
    
57. def nothread(path):
    
58.     for root,dirs,files in os.walk(path):
    
59.         global COUNT
    
60.         # print(dirs)
    
61.         COUNT += len(files)
    
62. 
    
63. 
    
64. @test        
    
65. def main():
    
66.     dir_parse(P)
    
67.     print(COUNT)
    
68. 
    
69. 
    
70. @test
    
71. def main1():
    
72.     global COUNT
    
73.     COUNT = 0
    
74.     nothread(P)
    
75.     print(COUNT)
    
76. 
    
77. 
    
78. if __name__ == '__main__':
    
79.     main()
    
80.     main1()

复制代码

result:

1. 20926
   
2. 0.5148007869720459
   
3. 20926
   
4. 0.42220091819763184
   
5. 
   
6. 请按任意键继续. . .

复制代码

hrp

多线程玩的溜

Cool_Breeze

hrp 发表于 2020-7-28 16:23
多线程玩的溜

怎么说呢！理解表面意思吧！底层也不了解！