Python下单线程、多线程、多进程效率比较

jerryxjr1220

Python下默认是单线程运行的，可以通过Threading库实现多线程，通过Multiprocessing实现多进程。

但是，实际上由于GIL（全局线程锁）的存在，多线程实际上同时运行的CPU也是1个，所以应该称作“伪多线程”。

而多进程才是实际利用多核CPU的优势，同步处理运算。

下面就用一个简单的求和函数（求0~1亿之内所以自然数的和）来比较一下，这3者的差别。

测试环境： 8核 i7 CPU， 8G内存， Python 2.7.13

单线程运算：

#Normal method
import time

global_list = []


def calc(st, ed):
    global global_list
    tmp = 0
    for i in range(st, ed):
        tmp += i
    global_list.append(tmp)

# Normal method:
time_start = time.time()
calc(0, 100000000)
print (global_list[0])
time_stop = time.time()
print ('Normal method: Time used: %.6f sec' % (time_stop - time_start))

结果：
4999999950000000
Normal method: Time used: 9.870000 sec

多线程（4线程）运算：

游客，如果您要查看本帖隐藏内容请回复

结果：
4999999950000000
Multi Threading: Time used: 9.759000 sec

多进程（4进程）运算：

游客，如果您要查看本帖隐藏内容请回复

输出：
4999999950000000
Multi Processing: Time used: 6.414000 sec

可以看到，多线程相比单线程几乎用了相同的时间（本来就是单线程在运算嘛，只不过节省了一些读取和写入的时间），而多进程则实实在在地加快了运算速度，所以大家在处理大量数据运算的时候，还是尽量用多进程，不要被多线程忽悠了

ooxx7788

学习学习！

lumber2388779

但是多进程对CPU的压力比较大吧

jerryxjr1220

lumber2388779 发表于 2017-4-13 10:34
但是多进程对CPU的压力比较大吧

你的电脑如果是多核CPU的话，你不充分利用它，闲置着也是浪费啊。
目前还只是利用了多核CPU，我还想把GPU也利用起来，就像Tensorflow和Keras在处理数据的时候可以调用GPU来提高效率一样，暂时还没找到好的模块（直接调用Tensorflow和Keras除外）

凌晨分子

看看咋用的

WylLy

好东西，学习学习

chenggeer

学习

cym9812

好东西

gopythoner

日常学习

tmkuej

下单线程、多线程、多进程效率比较

gopythoner

for t in threads:
    t.start()
    t.join()

如果我没记错的话，这两句好像是把线程给排列了，让线程变成了排列好的线程，失去了线程的意义了吧
实际上如果是多线程的话，要让线程可以在同一时间运行的话，应该这样用吧

for t in threads:
    t.start()
for t in threads:
    t.join()

不过即使是这样也对时间没有缩短，计算上不知道多线程有什么用

jerryxjr1220

gopythoner 发表于 2017-4-17 10:24
如果我没记错的话，这两句好像是把线程给排列了，让线程变成了排列好的线程，失去了线程的意义了吧
实际 ...

上面2种写法没有差别，t.join()的作用是让主程序等所有子程序结束再运行下去，不然主程序就不等子程序了，而一旦主程序结束，子程序也会跟着关闭，不管是否运行完。

wei_Y

CPU密集型用多进程，IO密集型用多线程。
CPU密集型用多线程基本没啥用，而且还会浪费时间。

算法上也可以优化， global关键字会拖慢变量的查询时间。累加可以用sum函数。测试sum函数直接算一亿个数消耗大约0.6S。

直接用公式更快。(最小+最大)*个数/2. 基本不消耗时间。

wei_Y

jerryxjr1220 发表于 2017-4-17 10:54
上面2种写法没有差别，t.join()的作用是让主程序等所有子程序结束再运行下去，不然主程序就不等子程序了 ...

上面两种有差别。

for t in threads:
    t.start()
    t.join()

这样相当于单线程。
http://bbs.fishc.com/thread-77700-1-1.html
有什么错误请指正。

jerryxjr1220

wei_Y 发表于 2017-4-17 12:17
上面两种有差别。

# Multi Threading
import time
import threading as td


def calc(st, ed):
    global global_list
    tmp = 0
    for i in range(st, ed):
        tmp += i
    global_list.append(tmp)

global_list = []
t1 = td.Thread(target=calc, args=(0, 25000000))
t2 = td.Thread(target=calc, args=(25000000, 50000000))
t3 = td.Thread(target=calc, args=(50000000, 75000000))
t4 = td.Thread(target=calc, args=(75000000, 100000000))
threads = [t1, t2, t3, t4]

time_start = time.time()
for t in threads:
    t.start()
for t in threads:
    t.join()
print (sum(global_list))
time_stop = time.time()
print ('Multi Threading: Time used: %.6f sec' % (time_stop - time_start))

4999999950000000
Multi Threading: Time used: 16.073000 sec

加了分开join的，运行时间反而比原来更长了。

其实，主要还是由于GIL锁的关系，系统同时处理的其实还是只是1个线程，只不过你同时启动多个，它就在多个线程里来回切换，这样反而增加了程序运行时间。

wei_Y

jerryxjr1220 发表于 2017-4-17 12:58
4999999950000000
Multi Threading: Time used: 16.073000 sec

CPU密集型用多线程就是会变慢啊。。

562349957

学学嘻嘻

jin6220

而多进程则实实在在地加快了运算速度，所以大家在处理大量数据运算的时候，还是尽量用多进程，不要被多线程忽悠了

Uziel

顶

yuwei0927

看看，学习一下