求助！scrapy shell可以获取信息但运行sracpy crwl无法获取有内容的json

shenlingdong203 · 发表于 2019-10-19 21:16:29

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

求助！scrapy shell+网址可以获取信息，但运行sracpy crwl+‘name’无法获取有内容的json，在setting中已把遵守协议禁用也还是不行，请问这是为什么？

15623772119 · 发表于 2019-10-27 04:26:56

我也是啊

Stubborn · 发表于 2019-10-27 16:11:17

return的是数据,数据将会交给引擎，而不是交给管道
使用终端命令：scrapy crawl spider_name -0 file_name，命令保存数据，支持json,lines，csv,xml 默认是Uniconde编码.

shenlingdong203 · 发表于 2019-10-27 19:08:19

Stubborn 发表于 2019-10-27 16:11
return的是数据,数据将会交给引擎，而不是交给管道
使用终端命令：scrapy crawl spider_name -0 file_name ...

感谢你的回答！但我还是没懂，请问我在哪方面体现了把数据交给了管道/引擎？谢谢！

Stubborn · 发表于 2019-10-27 20:41:28

shenlingdong203 发表于 2019-10-27 19:08
感谢你的回答！但我还是没懂，请问我在哪方面体现了把数据交给了管道/引擎？谢谢！

你在parse函数里面使用了return啊~
return的是数据,数据将会交给引擎，而不是交给管道，如果你return的一个scrapy.Request，引擎会交给调度器
想要给管道使用yeild ,数据会经过管道
参考:
https://fishc.com.cn/thread-134125-1-1.html

账号		自动登录	找回密码
密码			立即注册