鱼C论坛

 找回密码
 立即注册
查看: 1762|回复: 2

Scrapy爬虫响应成功后,response为什么不返回内容

[复制链接]
发表于 2017-12-16 17:32:22 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
  1. import scrapy

  2. class Ay_ScrpySpider(scrapy.Spider):
  3.         name = "Ay_Spider"   #爬虫名
  4.         allowd_domains = ['https://baike.baidu.com/']   #爬虫范围
  5.         start_urls =[
  6.                                 'https://baike.baidu.com/item/2017%E5%B9%B4%E5%8D%81%E5%A4%A7%E7%BD%91%E7%BB%9C%E6%B5%81%E8%A1%8C%E8%AF%AD/22257717'
  7.                                 ]   #爬虫开始位置
  8.                
  9.         def parse(self,response):
  10.                 print (response)
  11.                 filename = response.url.split('/')[-1]
  12.                 with open(filename,"wb") as f:
  13.                         f.write(response.body)
复制代码



这是Scrapy爬虫里面的内容,最后的f.write(response.body)为什么不返回内容,求各路大神的解答
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2017-12-21 21:13:50 | 显示全部楼层
估计没请求到,打断点看看response
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-7 16:00:15 | 显示全部楼层
ド゛゜范 发表于 2017-12-21 21:13
估计没请求到,打断点看看response

状态码响应200,应该是成功了,但是没数据,而使用普通的爬虫就能爬到数据
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-10-23 03:27

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表