爬虫案例（多进程（进程池）+队列+模块）案例

Stubborn

代码模板大致这样啦！

你也可以自己去填充啦，PS为什么BUG总那么多，要秃头啦

1. from multiprocessing import Pool
   
2. import os,random,time
   
3. def run(name):
   
4.     print("启动%d子线程--%s"%(name,os.getpid()))
   
5.     start = time.time()
   
6.     time.sleep(random.choice([1,2,3]))
   
7.     end = time.time()
   
8.     print("结束%d子线程--%s--耗时%.2f"%(name,os.getpid(),end-start))
   
9. 
   
10. if __name__ == '__main__':
    
11.     print("主(父)进程启动----%s"%(os.getpid()))
    
12.     #Pool:进程池 默认大小是CPU核心数
    
13.     pp = Pool()
    
14.     for i in range(17): #rang()大于CPU核心数，或者线程池数
    
15.         #数量小于CPU核心，会同时启动，数量大于CPU核心，分批轮流启动
    
16.         #子线程执行没有顺序
    
17.         #创建进程，放入进程池统一管理
    
18.         pp.apply_async(run,args=(i,))
    
19.     #使用进程池，在调用join，必须先调用close,调用close不能添加新的进程
    
20.     pp.close()
    
21.     #进程池对象调用join，会等待经常池中所有的子进程结束在去执行父进程
    
22.     pp.join()
    
23.     print("父进程结束---"

复制代码

游客，如果您要查看本帖隐藏内容请回复

Y0uWill_1Will

哦

DAY

旋转风

glowrush

wj2

看不懂。。。。

guo408066634

看看看

hzbranshao

TsingHong

Emmmmmm

xiuaiedu

Leehappy

111

流羽星

见识一下

kaohsing

学习一下

kinghanmin13

独行求索

学习一下

hope_peng

看下

topten2007

支持

麻麦皮

滚进来学习了

jayden123

kk