鱼C论坛

 找回密码
 立即注册
查看: 1713|回复: 1

scrapy中spider的返回值与管道

[复制链接]
发表于 2020-9-2 10:28:17 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
在scrapy工程中spider有代码:
class .... :
    ...
    def parse(self,response):
        <数据解析部分>
        items = []
        for i in list:
            item = XxxItem()
            item['a'] = a
            item['b'] = b
            items.append(item)
        return items

那么,管道接收到的数据是否是items
如果是,管道是怎么处理这个列表的
如果不是,这个列表由谁处理,管道接收到的又是什么

这是我从书上看到的演示代码,它的spider返回的是列表,但管道中并没有对列表进行遍历,而是直接在 process_item 中提取数据并并存储。
而在B站的视频中,讲师则是直接在spider里的for循环中使用yield提交item对象。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-9-3 15:25:05 | 显示全部楼层
使用yield提交给管道,return的是数据,数据将会交给引擎,而不是交给管道

scrapy的简单介绍
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-18 20:09

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表