[已解决]多进程爬虫的顺序输出问题

payton24

这些天捣鼓多进程，发现有个绕不过去的弯，就是多线程的顺序输出问题。
简单来说，就是开启了多进程爬虫后，可让不同线程同时抓取网页，但是返回的数据顺序并不是按照网页排列的顺序执行。
请问一下有什么好的解决办法吗？

以豆瓣Top250电影为例，写了如下代码：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. from multiprocessing import Pool
   
4. import time
   
5. 
   
6. '''解析内容，并创建多线程执行，存入CSV文档中'''
   
7. hds = {'User-Agent': 'ozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
   
8. def scraper(url):
   
9.     r = requests.get(url, headers=hds)
   
10.     #print(r.status_code)
    
11.     soup = BeautifulSoup(r.text, 'lxml')
    
12.     infos = soup.select("div.item")
    
13.     for info in infos:
    
14.         num = info.select('div.pic em')[0].text
    
15.         name = info.span.text  ##选择info里面首次出现的span标签
    
16.         rating = info.select("span.rating_num")[0].text
    
17.         try:
    
18.             comment = info.select("span.inq")[0].text.replace("\u22ef", "")
    
19.         except:
    
20.             comment = "【空】"
    
21.         #print(num,name,rating,comment)
    
22. 
    
23.         with open("movie_top250_3.csv", "a") as f:
    
24.             f.write("{},{},{},{}\n".format(num, name, rating, comment))
    
25. 
    
26. 
    
27. 
    
28. if __name__ == '__main__':    #多进程必须使用此语句，否则报错
    
29.    
    
30.     '''构建网页列表并将其入队'''
    
31.     url_list = ["https://movie.douban.com/top250?start={}&filter=".format(str(i*25)) for i in range(0, 10)]
    
32.     #print(url_list)
    
33.    
    
34. 
    
35.     start1 = time.time()
    
36.     for url in url_list:
    
37.         scraper(url)
    
38.     stop1 = time.time()
    
39.    
    
40.     print("单线程耗时", stop1 - start1)
    
41. 
    
42.     start2 = time.time()
    
43.     pool = Pool(processes=2)
    
44.     pool.map(scraper,url_list)
    
45.     stop2 = time.time()
    
46.     print("2个进程耗时", stop2 - start2)
    
47. 
    
48.     start3 = time.time()
    
49.     pool = Pool(processes=2)
    
50.     pool.map(scraper,url_list)
    
51.     stop3 = time.time()
    
52.     print("4个进程耗时", stop3 - start3)

复制代码

结果：

1. 耗时 4.628264665603638
   
2. 耗时 3.9972286224365234
   
3. 耗时 3.8952226638793945

复制代码

文件截图：
单线程的输出顺序没问题，后面的2进程和4进程顺序不确定。

最佳答案

月排行榜 / 总排行榜

新手·ing

2018-2-13 07:18:38

。。我是萌新啊。。
你试试先排序再存储。

跳转到最佳答案楼层

新手·ing

。。我是萌新啊。。
你试试先排序再存储。

payton24

新手·ing 发表于 2018-2-13 07:18
。。我是萌新啊。。
你试试先排序再存储。

感谢大神提供思路，排序的方法大概摸清楚了，可以用numpy模块结合sort方法来完成。但是苦于numpy的数组不知道如何导入，可否再指点一二？  在numpy中是否有类似于list的append方法可以导入数组呢？导入格式为：【2，霸王别姬，9.5，风华绝代。】
目前搜索了一些资料，暂时找不到答案。

新手·ing

据我所知，你只能：
http://blog.csdn.net/lishuandao/article/details/52444288
通过增加行列，然后修改其中的内容。

payton24

新手·ing 发表于 2018-2-13 08:32
据我所知，你只能：
http://blog.csdn.net/lishuandao/article/details/52444288
通过增加行列，然后修改 ...

谢谢，我有空再研究一下，今天一直忙其他事都抽不出时间。