scrapy 爬取数据无顺序问题

fengse1988

初学爬虫，照葫芦画瓢，用scrapy爬取廖雪峰大大的python教程，但是爬取的数据完全没有顺序啊！！（scrapy爬取为异步处理，但是这个没顺序完全没法看啊 ）如何处理啊 ！！！spider代码如下：

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. 
   
4. 
   
5. class Tt2Spider(scrapy.Spider):
   
6.     name = 'tt2'
   
7.     allowed_domains = ['liaoxuefeng.com']
   
8.     start_urls = ['https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000']
   
9. 
   
10.     def parse(self, response):
    
11.         tr_list = response.xpath("//ul[@id='x-wiki-index']/div/div/a")
    
12.         for tr in tr_list:
    
13.             item = {}
    
14.             item['href'] = tr.xpath("./@href").extract_first()
    
15.             item['title'] = tr.xpath("./text()").extract_first()
    
16.             next_url = 'https://www.liaoxuefeng.com' + item['href']
    
17. 
    
18.             yield scrapy.Request(
    
19.                 next_url,
    
20.                 callback=self.parse2,
    
21.                 meta={'item': item}
    
22. 
    
23.             )
    
24. 
    
25.     def parse2(self, response):
    
26.         item = response.meta["item"]
    
27.         item['content'] = response.xpath("//div[@class='x-wiki-content x-main-content']/p/text()").extract()
    
28.         print(item)

复制代码

fengse1988

具体出现排序问题在yield item之后，pipeline里的ITEM是无序的。不知道咋处理。。

wongyusing

利用字典加一个索引让其有序就行了

fengse1988

wongyusing 发表于 2019-1-23 00:36
利用字典加一个索引让其有序就行了

这个如何加索引啊。。。不是很懂。。