药监局的数据爬取问题

wzdyjn

import requests
#  url 是  http://scxk.nmpa.gov.cn:81/xk/

url='http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
headers={
    'Cookie':'JSESSIONID=3D601AF0C505380F376862A7E8D301DA; acw_tc=276aede916382887245685343e30e944678bb2fad6d67fafbc15f99b8ef02f; JSESSIONID=7FBB3D50981FE6D05AD83E1049402680',
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.55 Safari/537.36 Edg/96.0.1054.34'
}

data={
    'on': 'true',
    'page': '2',
    'pageSize': '15',
    'productName':'',
    'conditionType': '1',
    'applyname':'',
    'applysn':''
}

r=requests.post(url,headers,data).json()
print(r)

只能获取第一页的数据，，我想获取后面几页的数据，，改page没有 始终就是第一页的数据，，郁闷中，，，哪位大神帮帮我

wp231957

浏览器打不开

suchocolate

用你的代码运行有返回内容，有什么问题吗？

wzdyjn

第二页，，第三页就不行了

suchocolate

wzdyjn 发表于 2021-12-10 15:41
第二页，，第三页就不行了

你获取url的方式发出来

kaohsing

瑞数解决再说。

wzdyjn

http://scxk.nmpa.gov.cn:81/xk

wzdyjn

import requests

url='http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
headers={
    'Cookie':'JSESSIONID=3D601AF0C505380F376862A7E8D301DA; acw_tc=276aede916382887245685343e30e944678bb2fad6d67fafbc15f99b8ef02f; JSESSIONID=7FBB3D50981FE6D05AD83E1049402680',
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.55 Safari/537.36 Edg/96.0.1054.34'
}

data={
    'on': 'true',
    'page': '2',
    'pageSize': '15',
    'productName':'',
    'conditionType': '1',
    'applyname':'',
    'applysn':''
}

r=requests.post(url,headers,data).json()
print(r)


只能获取第一页的数据，，我想获取后面几页的数据，，改page没有 始终就是第一页的数据，，郁闷中，，，哪位大神帮帮我

柏泽

#前段时间刚学的，你试试

import requests as ch
import json
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0Accept: */*'}
url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'

for num in range(1,3):
    data={
        'on':'true',
        'page':str(num),
        'pageSize':'15',
        'productName':'',
        'conditionType':'1',
        'applyname':'',
        'applysn':''
        }
    a = ch.post(url=url,headers=headers,data=data)
    a = a.json()

johnnyb

1. #!/usr/bin/env python
   
2. # _*_ coding:utf-8 _*_
   
3. # Author : Roman  Data : 2021-12-19 00:20
   
4. import requests
   
5. 
   
6. def test(page=1):
   
7.     cookies = {
   
8.         'JSESSIONID': '1E3604C0D0EA1FEE2F9E1BE3D4D37922',
   
9.         'acw_tc': '276aedf516398441177493889e52d8385c3e2a0ca6105fdc508fcbd3cc792b',
   
10.         '__tins__21053225': '%7B%22sid%22%3A%201639844117108%2C%20%22vd%22%3A%201%2C%20%22expires%22%3A%201639845917108%7D',
    
11.         '__51cke__': '',
    
12.         '__51laig__': '1',
    
13.         'SL_G_WPT_TO': 'zh-CN',
    
14.         'SL_GWPT_Show_Hide_tmp': '1',
    
15.         'SL_wptGlobTipTmp': '1',
    
16.     }
    
17. 
    
18.     headers = {
    
19.         'Connection': 'keep-alive',
    
20.         'Pragma': 'no-cache',
    
21.         'Cache-Control': 'no-cache',
    
22.         'Accept': '*/*',
    
23.         'DNT': '1',
    
24.         'X-Requested-With': 'XMLHttpRequest',
    
25.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
    
26.         'Content-Type': 'application/x-www-form-urlencoded;utf-8',
    
27.         'Origin': 'http://scxk.nmpa.gov.cn:81',
    
28.         'Referer': 'http://scxk.nmpa.gov.cn:81/xk/',
    
29.         'Accept-Language': 'zh-CN,zh;q=0.9,zh-TW;q=0.8,en;q=0.7',
    
30.     }
    
31. 
    
32.     params = (
    
33.         ('method', 'getXkzsList'),
    
34.     )
    
35. 
    
36.     data = {
    
37.       'on': 'true',
    
38.       'page': page,
    
39.       'pageSize': '15',
    
40.       'productName': '',
    
41.       'conditionType': '1',
    
42.       'applyname': '',
    
43.       'applysn': ''
    
44.     }
    
45. 
    
46.     response = requests.post('http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do', headers=headers, params=params, cookies=cookies, data=data, verify=False)
    
47.     data_list = response.json().get('list')
    
48.     for i in data_list:
    
49.         #  打印公司名字
    
50.         print(i.get('EPS_NAME'))
    
51. 
    
52. 
    
53. if __name__ == '__main__':
    
54.     for i in range(1, 10):
    
55.         print(f"第{i}页数据.>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>"
    
56.         test(i)

复制代码