鱼C论坛

 找回密码
 立即注册
查看: 1259|回复: 3

scrapy爬虫时跟进链接出问题

[复制链接]
发表于 2020-3-11 10:02:13 | 显示全部楼层 |阅读模式
60鱼币
跟进链接的代码是小甲鱼书上的代码我就是尝试练习了一下 ,无论在cmd命令框中输入什么指令都会报错,虫也爬不出来了,最后一步给我难住了
有没有大神帮我看看是哪的原因,是网站的原因还是我的原因:

  1. import scrapy

  2. class QuotesSpider(scrapy.Spider):
  3.     name = "quotes"
  4.     start_urls = ["http://quotes.toscrape.com/page/1/"]
  5.       
  6.     def parse(self, response):
  7.        for quote in response.css('div.quote'):
  8.            yield {
  9.                 'text':quote.css('span.text::text').extract_first(),
  10.                 'author':quote.css('span.small::text').extract_first(),
  11.                 'tags':quote.css('div.tags a.tag::text').extract(),
  12.                }
  13.                
  14.         next_page = response.css('li.next a::attr(href)').extract_first()
  15.         if next_page is not None:
  16.             next_page = response.urljoin(next_page)
  17.             yield scrapy.Request(next_page, callback=self.parse)
复制代码

QQ图片20200311095348.png
QQ图片20200311095405.png
QQ图片20200311095414.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-3-11 20:10:56 | 显示全部楼层
不会那个什么scrapy
无标题.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-3-11 21:46:16 | 显示全部楼层
本帖最后由 Stubborn 于 2020-3-11 21:53 编辑

翻页不是完整路径,手动拼接后,在传递尝试

最新的scrapy 不要用extract,动get代替,同理还有getall
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-3-12 22:19:36 | 显示全部楼层
本帖最后由 wiselin 于 2020-3-12 22:26 编辑

显示是缩进错误,检查一下语法吧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-5-5 10:16

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表