scrapy shell调试网页出现这个问题，有高手帮助下怎么解决吗？

wiselin

scrapy shell http://www.gdfc.org.cn/这个网页，显示错误如下：

意思是请求头太长？没太明白怎么解决

ba21

再仔细检查下代码吧。这东西用的人少，只有告自己细心

wongyusing

请求过多了。
响应无效

wiselin

wongyusing 发表于 2019-3-11 21:52
请求过多了。
响应无效

但是用浏览器打开就没这个问题，用requests爬下来也可以，就是用调试命令打开会这样，百度也搜不到解决的方法，有什么办法解决这个呢？

wongyusing

wiselin 发表于 2019-3-12 08:46
但是用浏览器打开就没这个问题，用requests爬下来也可以，就是用调试命令打开会这样，百度也搜不到解决的 ...

看一下你的requests代码

或者在shell模式下加上请求头等参数试试。

wiselin

wongyusing 发表于 2019-3-12 22:19
看一下你的requests代码

或者在shell模式下加上请求头等参数试试。

1. # -*- coding: GBK -*-
   
2. import scrapy
   
3. 
   
4. 
   
5. class NumSpider(scrapy.Spider):
   
6.     name = 'num'
   
7.     allowed_domains = ['www.gdfc.org.cn']
   
8.    
   
9. 
   
10.     def start_requests(self):
    
11.         header = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    
12.                   'Accept-Language':'zh-CN,zh;q=0.8',
    
13.                   'Cache-Control':'max-age=0',
    
14.                   'Connection':'keep-alive',
    
15.                   'Host':'www.gdfc.org.cn',
    
16.                   'If-Modified-Since':'Tue, 12 Mar 2019 01:32:25 GMT',
    
17.                   'If-None-Match':'"5c870c29-29217"',
    
18.                   'Referer':'http://www.gdfc.org.cn/sjfx/tjzb10_50.html',
    
19.                   'Upgrade-Insecure-Requests':'1',
    
20.                   'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER'}
    
21.         urls = ['http://www.gdfc.org.cn/sjfx/tjzb10_200.html']
    
22.         for url in urls:
    
23.             yield scrapy.Request(url=url,headers = header,callback=self.parse)
    
24.             
    
25.     def parse(self, response):
    
26.         pass

复制代码

请求头是完全复制浏览器的，我用SplashRequest就可以爬下来，用普通的request就出现开始说的问题

wongyusing

header里面尝试把host、If-Modified-Since、If-None-Match、Referer注释掉试试。
我这台电脑暂时无法测试

wiselin

wongyusing 发表于 2019-3-13 10:19
header里面尝试把host、If-Modified-Since、If-None-Match、Referer注释掉试试。
我这台电脑暂时无法测试

试过，还是老样子，依然出现上面shell所报的错误