python3的并行运算

TCY

这篇文章是我看了下面这篇后写的：
地址：https://blog.csdn.net/u011808673/article/details/85341977

说实话，对Python加速是大多数人的想法，由于Python有一个GIL，导致它只能单线程执行……
那就用多进程！
行啊，你知道怎么分割任务吗？
我不知道，但PP模块知道！
Sorry，那个是针对Python2的……
啊？还不更新Python3？
因为Python3有一个解决这个的自带模块！
什么模块？
它的名字叫——concurrent.futures包！

先来演示一段代码：

1. from glob import glob
   
2. from timeit import timeit
   
3. from PIL import Image
   
4.    
   
5. def load_and_resize(img_name):
   
6.     img = Image.open(img_name)
   
7.     img.resize((600, 600))
   
8.    
   
9. def main():
   
10.     img_names = glob("*.jpg") + glob("*.png")
    
11.     for img_name in img_names:
    
12.         load_and_resize(img_name)
    
13. 
    
14. if __name__ == "__main__":
    
15.     time = timeit("main()", "from __main__ import main", number = 10)
    
16.     print("Time used: %f sec." % time)

复制代码

这段代码是把当前目录的所有.jpg，.png的图片（共113张）在内存中调整为600x600的大小，重复10次，计算时间。
结果：

1. >>>
   
2. ============== RESTART: C:\Users\admin\Desktop\test\ordinary.py ==============
   
3. Time used: 31.035354 sec.
   
4. >>>

复制代码

31秒……太慢了。
但可以这样改一下：

1. from glob import glob
   
2. from timeit import timeit
   
3. from PIL import Image
   
4. from concurrent import futures
   
5.    
   
6. def load_and_resize(img_name):
   
7.     img = Image.open(img_name)
   
8.     img.resize((600, 600))
   
9.    
   
10. def main():
    
11.     img_names = glob("*.jpg") + glob("*.png")
    
12.     with futures.ProcessPoolExecutor() as executor:
    
13.         executor.map(load_and_resize, img_names)
    
14. 
    
15. if __name__ == "__main__":
    
16.     time = timeit("main()", "from __main__ import main", number = 10)
    
17.     print("Time used: %f sec." % time)

复制代码

只改了两行代码。
结果：

1. >>>
   
2. ============ RESTART: C:\Users\admin\Desktop\test\concurrence.py ============
   
3. Time used: 15.771916 sec.
   
4. >>>

复制代码

快了15秒！！！！！
其实，Python是把任务分割，分给不同的进程，使得CPU全核运行。
你还怕Python太慢吗？

snaker

学习了

幽梦三影

说实话，确实慢，做过leetcode就知道，相同的解法python需要100ms完成，go可能10ms就完成了，对于大量的计算可以用多进程完成，对于大量的io可能需要协程去完成

TCY

我看了任务管理器，后面的代码会让CPU占用达到100%，效率确实高

LuLD

为啥我试的  第一个比第二个要快

TCY

LuLD 发表于 2019-5-17 15:05
为啥我试的  第一个比第二个要快

可能是你代码目录下的图片较多