用scrapy爬豆瓣top250的问题

changmind

用scrap可以正常爬取，但是爬取出来的东西很多重复。谁能帮忙看看什么问题。
什么都正常，就是出来的东西有很多重复的，正常是250条数据，我出来上千条。

1. import scrapy
   
2. from douban.items import DoubanItem
   
3. 
   
4. class DoubanSpiderSpider(scrapy.Spider):
   
5.     name = 'douban'
   
6.     allowed_domains = ['douban.com']
   
7.     start_urls = ['https://movie.douban.com/top250']
   
8. 
   
9.     def parse(self, response):
   
10.         content = response.xpath('//ol/li')
    
11.         
    
12.         for each in content:
    
13.             item = DoubanItem()
    
14.             item['rank'] = each.xpath('//em/text()').extract()
    
15.             item['name'] = each.xpath('//div[@class="hd"]/a/span[1]/text()').extract()
    
16.             item['info'] = each.xpath('//p/text()').extract()
    
17.             item['scort'] = each.xpath('//div[@class="star"]/span[2]/text()').extract()
    
18. 
    
19.             yield item
    
20. 
    
21.         if len(response.xpath('//span[@class="next"]/a/@href')) != 0 :
    
22.             next_url = response.xpath('//span[@class="next"]/a/@href').extract()[0]
    
23. 
    
24.             yield scrapy.Request('https://movie.douban.com/top250' + next_url,callback = self.parse)

复制代码

foxiangzun

1. yield scrapy.Request('https://movie.douban.com/top250' + next_url,callback = self.parse)

复制代码

这里面，加上

1. dont_filter = False

复制代码

changmind

foxiangzun 发表于 2020-7-21 09:16
这里面，加上

这个是什么？我翻页是正常的。

foxiangzun

changmind 发表于 2020-7-21 18:22
这个是什么？我翻页是正常的。

据说是筛选器，关掉就会去重

xiaosi4081

1. import scrapy
   
2. from douban.items import DoubanItem
   
3. 
   
4. class DoubanSpiderSpider(scrapy.Spider):
   
5.     name = 'douban'
   
6.     allowed_domains = ['douban.com']
   
7.     start_urls = ['https://movie.douban.com/top250']
   
8. 
   
9.     def parse(self, response):
   
10.         content = response.xpath('//ol/li')
    
11.         
    
12.         for each in content:
    
13.             item = DoubanItem()
    
14.             item['rank'] = each.xpath('//em/text()').extract()
    
15.             item['name'] = each.xpath('//div[@class="hd"]/a/span[1]/text()').extract()
    
16.             item['info'] = each.xpath('//p/text()').extract()
    
17.             item['scort'] = each.xpath('//div[@class="star"]/span[2]/text()').extract()
    
18. 
    
19.             yield item
    
20. 
    
21.         if len(response.xpath('//span[@class="next"]/a/@href')) != 0 :
    
22.             next_url = response.xpath('//span[@class="next"]/a/@href').extract()[0]
    
23. 
    
24.             yield scrapy.Request('https://movie.douban.com/top250' + next_url,callback = self.parse,dont_filter = False)

复制代码

临时号

你忘记退出了吧

changmind

临时号 发表于 2020-7-22 18:03
你忘记退出了吧

退出啥？

changmind

xiaosi4081 发表于 2020-7-22 14:40

复制黏贴有意思？

陈尚涵

可能出现重复执行了吧，总之你仔细检查一下代码

心驰神往

数据对吗

bonst

多设置断点，其实debug功能能检测很多错误

象棋爱好者

鱼币？

象棋爱好者

象棋爱好者

？？？？？

象棋爱好者

怎么回事？

象棋爱好者

。。。

象棋爱好者

象棋爱好者

终于来了

Stubborn

看看是不是翻页出的问题，再说了，总共就10几页，放到初始的url里面请求就得，搞啥翻页操作啊