python3的并行运算

TCY

这篇文章是我看了下面这篇后写的：
地址：https://blog.csdn.net/u011808673/article/details/85341977

说实话，对Python加速是大多数人的想法，由于Python有一个GIL，导致它只能单线程执行……
那就用多进程！
行啊，你知道怎么分割任务吗？
我不知道，但PP模块知道！
Sorry，那个是针对Python2的……
啊？还不更新Python3？
因为Python3有一个解决这个的自带模块！
什么模块？
它的名字叫——concurrent.futures包！

先来演示一段代码：

from glob import glob
from timeit import timeit
from PIL import Image
    
def load_and_resize(img_name):
    img = Image.open(img_name)
    img.resize((600, 600))
    
def main():
    img_names = glob("*.jpg") + glob("*.png")
    for img_name in img_names:
        load_and_resize(img_name)

if __name__ == "__main__":
    time = timeit("main()", "from __main__ import main", number = 10)
    print("Time used: %f sec." % time)

这段代码是把当前目录的所有.jpg，.png的图片（共113张）在内存中调整为600x600的大小，重复10次，计算时间。
结果：

>>> 
============== RESTART: C:\Users\admin\Desktop\test\ordinary.py ==============
Time used: 31.035354 sec.
>>> 

31秒……太慢了。
但可以这样改一下：

from glob import glob
from timeit import timeit
from PIL import Image
from concurrent import futures
    
def load_and_resize(img_name):
    img = Image.open(img_name)
    img.resize((600, 600))
    
def main():
    img_names = glob("*.jpg") + glob("*.png")
    with futures.ProcessPoolExecutor() as executor:
        executor.map(load_and_resize, img_names)

if __name__ == "__main__":
    time = timeit("main()", "from __main__ import main", number = 10)
    print("Time used: %f sec." % time)

只改了两行代码。
结果：

>>> 
============ RESTART: C:\Users\admin\Desktop\test\concurrence.py ============
Time used: 15.771916 sec.
>>> 

快了15秒！！！！！
其实，Python是把任务分割，分给不同的进程，使得CPU全核运行。
你还怕Python太慢吗？

snaker

学习了

幽梦三影

说实话，确实慢，做过leetcode就知道，相同的解法python需要100ms完成，go可能10ms就完成了，对于大量的计算可以用多进程完成，对于大量的io可能需要协程去完成

TCY

我看了任务管理器，后面的代码会让CPU占用达到100%，效率确实高

LuLD

为啥我试的  第一个比第二个要快

TCY

LuLD 发表于 2019-5-17 15:05
为啥我试的  第一个比第二个要快

可能是你代码目录下的图片较多