爬虫遇到“很抱歉，由于您访问的URL有可能对网站造成安全威胁，您的访问被阻断。”

fzx960326

打算爬取一个异步网站，网址是http://www.ipe.org.cn/IndustryRecord/Regulatory.aspx。主要是爬取自行监测下面的企业名称。
在爬取的时候打算用post来解决异步的问题（不用selenium是因为数据量太大了），但是在向网址http://www.ipe.org.cn/data_ashx/GetAirData.ashx?xx=getselfrecords发送post请求的时候，总是会出现“405，很抱歉，由于您访问的URL有可能对网站造成安全威胁，您的访问被阻断”。但是同样的header和参数在软件postman上却能够正常的返回值，想问下是哪里出现了问题？

代码如下

import requests
import selenium.webdriver as sw
import time
from requests import Session
def get_cookies():
    browser=sw.Chrome()
    browser.get("http://www.ipe.org.cn/IndustryRecord/Regulatory.aspx")
    time.sleep(1)
    raw_cookies=browser.get_cookies()
    for each in raw_cookies:
        s.cookies.set(each["name"],each["value"])
    browser.quit()

def get_data(data):
    response=s.post("http://www.ipe.org.cn/data_ashx/GetAirData.ashx?xx=getselfrecords",headers=headers,data=data)
    print(type(response.text))
    print(response.text)
   
s=Session()
get_cookies()
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36","Referer":"http://www.ipe.org.cn/IndustryRecord/Regulatory.aspx","Content-Type":"application/x-www-form-urlencoded","Content-Length":"644"}
for i in range(1,1000):
    data={}
    data={"cmd":"getRecords","pageSize":"15","pageIndex":"1"}
    get_data(data)

静默丶

哥们，你的这个问题解决了吗，我也遇到了，帮一下忙啦