Python下单线程、多线程、多进程效率比较

当回首遇上转身

也同时增大对内存分配的难度

huabanyu

如果您要查看本帖隐藏内容请 回复

鱼油9527

看看

Luos

6666666666666666

°蓝鲤歌蓝

学习

cats_miao

就是来学习线程,和进程的,,还没迷糊

3140056787

66666666666666666666

showen168

正好要学这个

payton24

看看

payton24

jerryxjr1220 发表于 2017-4-17 12:58
4999999950000000
Multi Threading: Time used: 16.073000 sec

这有点误导观众啊，不能说哪种运行得快就叫多线程啊，支持前面几位的说法。多线程本来就是并发的，在爬虫中运用还是不错的。

最后补充一下，我运行代码的结果为，比单线程还是快那么一点点，可能是现在的编译器优化了吧，用的是python3.6：

1. 4999999950000000
   
2. Multi Threading: Time used: 7.622436 sec

复制代码

代码为：

1. # Multi Threading
   
2. import time
   
3. import threading as td
   
4. 
   
5. time_start = time.time()
   
6. 
   
7. def calc(st, ed):
   
8.     global global_list
   
9.     tmp = 0
   
10.     for i in range(st, ed):
    
11.         tmp += i
    
12.     global_list.append(tmp)
    
13. 
    
14. global_list = []
    
15. t1 = td.Thread(target=calc, args=(0, 25000000))
    
16. t2 = td.Thread(target=calc, args=(25000000, 50000000))
    
17. t3 = td.Thread(target=calc, args=(50000000, 75000000))
    
18. t4 = td.Thread(target=calc, args=(75000000, 100000000))
    
19. threads = [t1, t2, t3, t4]
    
20. 
    
21. for t in threads:
    
22.     t.start()
    
23. for t in threads:
    
24.     t.join()
    
25. print (sum(global_list))
    
26. time_stop = time.time()
    
27. print ('Multi Threading: Time used: %.6f sec' % (time_stop - time_start))

复制代码

小明吖

jerryxjr1220

payton24 发表于 2018-2-9 17:45
这有点误导观众啊，不能说哪种运行得快就叫多线程啊，支持前面几位的说法。多线程本来就是并发的，在爬 ...

并没有误导啊，其实多线程对于CPU的利用率和单线程的利用率是一样的，但是由于多线程可以并发执行，所以对于频繁读取或者写入操作（文件下载），或者网络请求等待（爬虫）这些操作，多线程是有优势的。
但是对于计算密集型操作（比如大量数据的计算）多线程就和单线程几乎是一样的效率了，这时候就可以利用多进程来处理，多进程是利用多核CPU进行并行计算，所以对CPU的利用会高得多。

水泥工艺学

学习一下

colinshi

这个是在linux还是在win下跑的结果啊。linux的进程线程和win的不同吧

colinshi

因为Python的线程虽然是真正的线程，但解释器执行代码时，有一个GIL锁：Global Interpreter Lock，任何Python线程执行前，必须先获得GIL锁，然后，每执行100条字节码，解释器就自动释放GIL锁，让别的线程有机会执行。这个GIL全局锁实际上把所有线程的执行代码都给上了锁，所以，多线程在Python中只能交替执行，即使100个线程跑在100核CPU上，也只能用到1个核。
Python虽然不能利用多线程实现多核任务，但可以通过多进程实现多核任务。多个Python进程有各自独立的GIL锁，互不影响。

sdtfll

按时地方官艰苦奋斗时代感就

瓦蓝

hko

鍥炲��

ABC23

回复

Kira

学习