求助爬虫达人 碰到个解决不了的问题！

叶小贤

import re
import scrapy
import requests
from Spider_Object_Test.items import InsuranceItem


class jycghubei_Zb_Spider(scrapy.Spider):
    name = 'jycghubei_zb'
    allowed_domains = ['jycg.hubei.gov.cn']
    start_urls = ['http://jycg.hubei.gov.cn/jyxx/zfcg/cggg/']

    def start_requests(self):
        for u in self.start_urls:
            yield scrapy.Request('http://jycg.hubei.gov.cn/jyxx/zfcg/cggg/')

    def parse(self, response):
        print(response)

-------------------------------------------------------------
大家可以试一下这个网站，我用下面的get请求，返回 <Response [412]>
有没有哪位大神遇到过这个状态码的 怎么解决？？？

resp = requests.get('http://jycg.hubei.gov.cn/jyxx/zfcg/cggg/')
print(resp)       

叶小贤

HELP ME !!!!

Twilight6

叶小贤 发表于 2020-6-8 19:42
HELP ME !!!!

网上查的：

412状态码：服务器在验证在请求的头字段中给出先决条件时，没能满足其中的一个或多个。这个状态码允许客户端在获取资源时在请求的元信息（请求头字段数据）中设置先决条件，以此避免该请求方法被应用到其希望的内容以外的资源上。

我暂时也没有遇到过，所以也不知道怎么解决

suchocolate

简单看了下，这个网站会预先分配一个cookie，正式访问要求带cookie，可能你需要selenium。

叶小贤

suchocolate 发表于 2020-6-8 22:00
简单看了下，这个网站会预先分配一个cookie，正式访问要求带cookie，可能你需要selenium。

selenium 不是页面自动化嘛？ 具体是怎么个流程？
我先自动打开页面 然后获取 cookie再关了 用爬虫去爬嘛？

叶小贤

  HELP

有谁懂

对scrapy不太熟，你先自己写个爬虫看看呀。
按网上的说法，412可能是消息头缺少cookie，或者你要用get方法不能post方法。

xiaosi4081

没加headers，爬第二次当然412（哔哩哔哩也是这样）