用scrapy爬豆瓣top250的问题

changmind

用scrap可以正常爬取，但是爬取出来的东西很多重复。谁能帮忙看看什么问题。
什么都正常，就是出来的东西有很多重复的，正常是250条数据，我出来上千条。

import scrapy
from douban.items import DoubanItem

class DoubanSpiderSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['douban.com']
    start_urls = ['https://movie.douban.com/top250']

    def parse(self, response):
        content = response.xpath('//ol/li')
        
        for each in content:
            item = DoubanItem()
            item['rank'] = each.xpath('//em/text()').extract()
            item['name'] = each.xpath('//div[@class="hd"]/a/span[1]/text()').extract()
            item['info'] = each.xpath('//p/text()').extract()
            item['scort'] = each.xpath('//div[@class="star"]/span[2]/text()').extract()

            yield item

        if len(response.xpath('//span[@class="next"]/a/@href')) != 0 :
            next_url = response.xpath('//span[@class="next"]/a/@href').extract()[0]

            yield scrapy.Request('https://movie.douban.com/top250' + next_url,callback = self.parse)

foxiangzun

yield scrapy.Request('https://movie.douban.com/top250' + next_url,callback = self.parse)

这里面，加上

dont_filter = False

changmind

foxiangzun 发表于 2020-7-21 09:16
这里面，加上

这个是什么？我翻页是正常的。

foxiangzun

changmind 发表于 2020-7-21 18:22
这个是什么？我翻页是正常的。

据说是筛选器，关掉就会去重

xiaosi4081

import scrapy
from douban.items import DoubanItem

class DoubanSpiderSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['douban.com']
    start_urls = ['https://movie.douban.com/top250']

    def parse(self, response):
        content = response.xpath('//ol/li')
        
        for each in content:
            item = DoubanItem()
            item['rank'] = each.xpath('//em/text()').extract()
            item['name'] = each.xpath('//div[@class="hd"]/a/span[1]/text()').extract()
            item['info'] = each.xpath('//p/text()').extract()
            item['scort'] = each.xpath('//div[@class="star"]/span[2]/text()').extract()

            yield item

        if len(response.xpath('//span[@class="next"]/a/@href')) != 0 :
            next_url = response.xpath('//span[@class="next"]/a/@href').extract()[0]

            yield scrapy.Request('https://movie.douban.com/top250' + next_url,callback = self.parse,dont_filter = False)

临时号

你忘记退出了吧

changmind

临时号 发表于 2020-7-22 18:03
你忘记退出了吧

退出啥？

changmind

xiaosi4081 发表于 2020-7-22 14:40

复制黏贴有意思？

陈尚涵

可能出现重复执行了吧，总之你仔细检查一下代码

心驰神往

数据对吗

bonst

多设置断点，其实debug功能能检测很多错误

象棋爱好者

鱼币？

象棋爱好者

象棋爱好者

？？？？？

象棋爱好者

怎么回事？

象棋爱好者

。。。

象棋爱好者

象棋爱好者

终于来了

Stubborn

看看是不是翻页出的问题，再说了，总共就10几页，放到初始的url里面请求就得，搞啥翻页操作啊