[已解决]scrapy 中response.xpath问题

willow的小灰灰 · 发表于 2017-7-30 09:53:09

您需要登录才可以下载或查看，没有账号？立即注册

x

用scrapy shell 中运行
scrapy shell "http://www.douban.com"
response.xpath('//div')
返回为空

最佳答案

小锟

2017-7-30 14:07:55

在settings 文件改一下
USER_AGENT = '#浏览器名称#'

小锟 · 发表于 2017-7-30 11:13:43

因为豆瓣把你屏蔽了，你没有得到响应，debug有个403

willow的小灰灰 · 发表于 2017-7-30 12:43:23

小锟发表于 2017-7-30 11:13
因为豆瓣把你屏蔽了，你没有得到响应，debug有个403

那如何解决呢？大师傅？

小锟 · 发表于 2017-7-30 14:07:55

在settings 文件改一下
USER_AGENT = '#浏览器名称#'

野草闵 · 发表于 2017-11-20 22:18:18

小锟发表于 2017-7-30 14:07
在settings 文件改一下
USER_AGENT = '#浏览器名称#'

这个浏览器名字指什么呢

小锟 · 发表于 2017-11-21 18:55:40

野草闵发表于 2017-11-20 22:18
这个浏览器名字指什么呢

你去百度一下前面的USER_AGENT就知道了

账号		自动登录	找回密码
密码			立即注册