鱼C论坛

 找回密码
 立即注册
查看: 2871|回复: 4

scrapy爬虫设置管道后不执行parse内容,没设置管道确可以执行parse内容 如何解决?

[复制链接]
发表于 2020-2-19 15:42:50 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
# 设置settings时

                               
登录/注册后可看大图

运行如下代码
```
import scrapy

from bude.items import MztItem

class MztSpider(scrapy.Spider):
    name='mzt'
    print("无情")
    start_urls=['https://www.mzitu.com/194656']
   
    def start_requests(self):
        print("1111111")
        yield scrapy.Request(url=self.start_urls[0],callback=self.parse)
   
    def parse(self,response):
        print(response.css('div.main-image p a img::attr(src)').getall())
        yield MztItem(image_urls=response.css('div.main-image p a img::attr(src)').getall())

```
## 执行结果如下

                               
登录/注册后可看大图


## 未添加管道时确可以正常运行结果如下


                               
登录/注册后可看大图

小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-2-19 15:44:04 | 显示全部楼层
请问如何解决设置好了管道,爬虫确不进行爬取网页的问题
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-2-19 16:30:41 | 显示全部楼层
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-2-19 18:21:34 | 显示全部楼层
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-2-23 18:00:04 | 显示全部楼层
ding
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-1-22 15:07

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表