鱼C论坛

 找回密码
 立即注册
查看: 1816|回复: 3

scrapy爬虫时跟进链接出问题

[复制链接]
发表于 2020-3-11 10:02:13 | 显示全部楼层 |阅读模式
60鱼币
跟进链接的代码是小甲鱼书上的代码我就是尝试练习了一下 ,无论在cmd命令框中输入什么指令都会报错,虫也爬不出来了,最后一步给我难住了
有没有大神帮我看看是哪的原因,是网站的原因还是我的原因:
import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = ["http://quotes.toscrape.com/page/1/"]
       
    def parse(self, response):
       for quote in response.css('div.quote'):
           yield {
                'text':quote.css('span.text::text').extract_first(),
                'author':quote.css('span.small::text').extract_first(),
                'tags':quote.css('div.tags a.tag::text').extract(),
               }
               
        next_page = response.css('li.next a::attr(href)').extract_first()
        if next_page is not None:
            next_page = response.urljoin(next_page)
            yield scrapy.Request(next_page, callback=self.parse)

QQ图片20200311095348.png
QQ图片20200311095405.png
QQ图片20200311095414.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-3-11 20:10:56 | 显示全部楼层
不会那个什么scrapy
无标题.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-3-11 21:46:16 | 显示全部楼层
本帖最后由 Stubborn 于 2020-3-11 21:53 编辑

翻页不是完整路径,手动拼接后,在传递尝试

最新的scrapy 不要用extract,动get代替,同理还有getall
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-3-12 22:19:36 | 显示全部楼层
本帖最后由 wiselin 于 2020-3-12 22:26 编辑

显示是缩进错误,检查一下语法吧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-24 18:39

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表