POST中如何使用Requests Payload的表单提交

Stubborn

偶尔无意看到一个鱼友小伙伴，发的求助帖，自己看了也算蛮有意思的，这里做个记录


目标站：http://gs.amac.org.cn/amac-infod ... er/managerList.html，在翻页的时候，就可以抓到数据请求的端口啦，不过初看可能觉得有些奇怪
一般向后台拿数据，大多都是GET请求，不过这里居然是用POST，不过“客随主便”啦

如上图，查询字段page,和szie，还有关于rand这个是一个随机数而已，虽然隔久了再次请求的时候rank不一样，可以复用的


好啦，这里稍微提示下，这个POST的表达提交方式，和平时的Form data不一样哈
res = requests.post(url=url, data=json.dumps({}), headers=headers)

huazisheng

1. import requests
   
2. import json
   
3. from lxml import etree
   
4. import time
   
5. import csv
   
6. fp=open('C:/Users/Administrator/Desktop/simu.csv','wt',newline='',encoding='utf-8')
   
7. writer=csv.writer(fp)
   
8. writer.writerow(('网址','企业名称','负责人','成立时间','注册地址','办公地址','实缴资本','机构类型','全职人数','资格人数','机构网址'))
   
9. headers = {
   
10.     'Accept': 'application/json, text/javascript, */*; q=0.01',
    
11.     'Accept-Encoding': 'gzip, deflate',
    
12.     'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    
13.     'Cache-Control': 'no-cache',
    
14.     'Connection': 'keep-alive',
    
15.     'Content-Length': '2',
    
16.     'Content-Type': 'application/json',
    
17.     'Host': 'gs.amac.org.cn',
    
18.     'Origin': 'http://gs.amac.org.cn',
    
19.     'Pragma': 'no-cache',
    
20.     'Referer': 'http://gs.amac.org.cn/amac-infodisc/res/pof/manager/managerList.html',
    
21.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
    
22.     'X-Requested-With': 'XMLHttpRequest'
    
23. }
    
24. def get_info(url):
    
25.         res=requests.get(url,headers=headers)
    
26.         res.raise_for_status()
    
27.         res.encoding=res.apparent_encoding
    
28.         seletctor=etree.HTML(res.text)
    
29.         企业名称=seletctor.xpath('//*[@id="complaint1"]')[0].text[:-6]
    
30.         成立时间=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[7]/td[4]')[0].text
    
31.         注册地址=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[8]/td[2]')[0].text
    
32.         办公地址=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[9]/td[2]')[0].text
    
33.         实缴资本=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[10]/td[4]')[0].text
    
34.         机构类型=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[12]/td[2]')[0].text
    
35.         全职人数=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[13]/td[2]')[0].text
    
36.         资格人数=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[13]/td[4]')[0].text
    
37.         负责人=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[22]/td[2]')[0].text
    
38.         #/html/body/div/div[2]/div/table/tbody/tr[22]/td[2]                        #有的二级子页面是这个提取地址
    
39.         #/html/body/div/div[2]/div/table/tbody/tr[21]/td[2]                        #有的二级子页面是这个提取地址，不完全一致
    
40.         机构网址=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[14]/td[2]/a')[0].text
    
41.         #/html/body/div/div[2]/div/table/tbody/tr[14]/td[2]                        #空白时是这个提取地址
    
42.         #/html/body/div/div[2]/div/table/tbody/tr[14]/td[2]/a                #非空白时是这个提取地址，不完全一致
    
43.         writer.writerow((url,企业名称,负责人,成立时间,注册地址,办公地址,实缴资本,机构类型,全职人数,资格人数))
    
44. for i in range(0,3):
    
45.         rank = 0.3389959824021722
    
46.         url = f"http://gs.amac.org.cn/amac-infodisc/api/pof/manager?rand=0.6122678870895568&page={i}&size=20"
    
47.         res = requests.post(url=url, data=json.dumps({}), headers=headers).json().get("content")  # res是一个字典
    
48.         for each in res:
    
49.                 url = "http://gs.amac.org.cn/amac-infodisc/res/pof/manager/" + each.get("url")   # 构建二级子页面请求,需要采集其他数据，也可以采用。get("key")的方式
    
50.                 get_info(url)
    
51.                 #time.sleep(2)
    
52. fp.close()

复制代码

Xpath方式提取二级子页面时，部分提取地址不完全一致，导致信息提取失败或提取错误