鱼C论坛

 找回密码
 立即注册
查看: 915|回复: 1

关于pyspider的问题。

[复制链接]
发表于 2018-5-5 11:56:39 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
https://www.zhihu.com/question/275950015原谅我直接上某呼的链接,大意是我的一个任务在pyspider中,运行过一次我感觉出错了(因为按道理不止只有60几个数据而已),然后停止了。然后第二次就无法进行运行。
图中的第二个任务。

                               
登录/注册后可看大图


                               
登录/注册后可看大图
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2018-11-12 19:28:06 | 显示全部楼层

虽然时间过了那么久,但为了以后的人学习需要。
在类里面需要加入crawl_config = {
        'itag':'v1.1'
    }参数,内容随便写,但每次运行必须与上一次不一样,一样的话pyspider会抛弃这一次运行的结果。
每次运行修改这个参数就行,反正我就是这样(个人觉得这个国人编写的框架居然没有中文文档,而且在Windows一堆问题,不如先学习scrapy,这个更友好一点,资料也多一点,知道scrapy之后
再学习这个就很简单了)。

默认是没有这个参数的,我也是刚学习这个框架,不对的地方,还请以后的人指出。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-3-25 11:29

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表