scrapy爬虫问题，抓取网站人名、详情、链接等信息

TJstyles

我在某网页爬取人名、部门、个人详情、详情链接等信息。
现在是存在这种情况，在不同的部门中，存在相同的人名，对应着相同的详情连接和个人详情。但是scrapy只会抓取其中一个人的信息，会漏掉另外部门该人名的信息。

1. import scrapy
   
2. from zggcy.items import ZggcyItem
   
3. import copy
   
4. 
   
5. class YuanshiSpider(scrapy.Spider):
   
6.     name = 'yuanshi'
   
7.     allowed_domains = ['cae.cn']
   
8.     start_urls = ['http://www.cae.cn/cae/html/main/col53/column_53_1.html']
   
9. 
   
10.     def parse(self, response):
    
11.         item = ZggcyItem()
    
12.         for each in response.xpath('//div[@class="list2_navm clearfix"]/ul/li'):
    
13.             item['group'] = each.xpath('./a/text()').extract_first()
    
14.             item['type'] = '中国工程院院士'
    
15.             group_url = each.xpath('./a/@href').extract_first()
    
16.             group_url = response.urljoin(group_url)
    
17.             yield scrapy.Request(url=group_url, meta={'item': copy.deepcopy(item)}, callback=self.parse2)
    
18. 
    
19.     def parse2(self,response):
    
20.         item = response.meta['item']
    
21.         for each in response.xpath('//div[@class="right_md_ysmd"]/div/ul/li'):
    
22.             item['link'] = each.xpath('./a/@href').extract_first()
    
23.             item['name'] = each.xpath('./a/text()').extract_first()
    
24.             detail_url = each.xpath('./a/@href').extract_first()
    
25.             detail_url = response.urljoin(detail_url)
    
26.             yield scrapy.Request(url=detail_url, meta={'item': copy.deepcopy(item)}, callback=self.parse3)
    
27. 
    
28.     def parse3(self, response):
    
29.         item = response.meta['item']
    
30.         item['detail'] = ''.join(response.xpath('//div[@class="intro"]/p/text()').extract())
    
31.         yield item

复制代码

TJstyles

请问我应该怎么修改代码，才能把信息抓全！

TJstyles

好吧，我自己解决了。。。

海风zZ

TJstyles 发表于 2019-1-10 11:56
好吧，我自己解决了。。。

怎么解决的，分享一下啊

TJstyles

把dont_filter的值改成TRUE就行了。因为在默认情况下值为false，scrapy是不会对同一个URL执行多次下载请求，会过滤掉之后的URL请求，修改为true之后就可以重复请求多次了

TJstyles

海风zZ 发表于 2019-1-10 12:29
怎么解决的，分享一下啊

见楼下