如何寻找json数据url的规律

53清

侄女今年高考，想给她爬取山东省所有学校专业的数据，代码写好运行之后发现一些学校每一年的评论的json数据的url是不一样的，但是我也没找到规律，所以来求助一下，
举个例子
我发现一些学校的评论json在2020年前是，/37/1/14/，之后是/37/3/1570/，但是运行的时候发现很多是不一样的，应该怎么找规律呢，是不是哪里可以获取？

1. from time import sleep
   
2. import math
   
3. import requests
   
4. import json
   
5. from fake_useragent import UserAgent
   
6. 
   
7. 
   
8. 
   
9. 
   
10. 
    
11. #获取学校id
    
12. def get_id():
    
13.     url = 'https://api.eol.cn/web/api/?&page=3&province_id=37&ranktype=&school_type=&size=20&uri=apidata/api/gk/school/lists'
    
14.     wb_data = requests.get(url, headers={'User-Agent':str(UserAgent().random)}).text
    
15.     print(wb_data)
    
16.     data = json.loads(wb_data)['data']['item']
    
17.     print(data)
    
18.     # print(data['data'].keys())
    
19.     school_id = []
    
20.     for i in data:
    
21.         dic = {'school_id': i['school_id'], 'nature_name': i['nature_name'],
    
22.                'city_name': i['city_name'], 'level_name': i['level_name'],
    
23.                'name': i['name']}
    
24.         school_id.append(dic)
    
25.     print(school_id)
    
26.     link = school_id
    
27.     return link
    
28. 
    
29. #根据不同的学校不同的年份获取不同的基本url
    
30. def get_url(link):
    
31. 
    
32. 
    
33.     for i in link:
    
34.         id = i['school_id']
    
35.         #它每一年的url构造是不一样的，这是我找到的规律，但是实际上很多都不一样，所以报错来求助了
    
36.         for year in range(2017, 2022):
    
37.             if year < 2020:
    
38.                 url = f'https://static-data.gaokao.cn/www/2.0/schoolspecialindex/{year}/{id}/37/1/14/'
    
39.             else:
    
40.                 url= f'https://static-data.gaokao.cn/www/2.0/schoolspecialindex/{year}/{id}/37/3/1570/'
    
41.             print(url)
    
42.             get_content(url,i,year)
    
43. 
    
44. 
    
45. #根据不同的url加上页数获取评论
    
46. def get_content(url,i,year):
    
47.     urlmax=url
    
48.     print(url)
    
49.     wb_data = requests.get(url+'1.json', headers={'User-Agent':str(UserAgent().random)}, timeout=2, verify=False).text
    
50.     try:
    
51.         #获取页数
    
52.         page = math.ceil(int(json.loads(wb_data)['data']['numFound'] / 10))
    
53.         #有的学校没有数据这里抛出异常
    
54.     except:
    
55.         page=0
    
56. 
    
57.     print(page)
    
58.     print(type(page))
    
59.     #开始获取评论
    
60.     for c_page in range(1, page+1):
    
61.         print(urlmax+str(c_page)+'.json')
    
62.         wb_data = requests.get(urlmax+str(c_page)+'.json', headers={'User-Agent':str(UserAgent().random)}, timeout=2, verify=False).text
    
63.         sleep(6)
    
64.         data = json.loads(wb_data)['data']['item']
    
65.         for one in data:
    
66.             dic = {'学校名称': i['name'], '专业': one['spname'], '层次': one['level1_name'], 'school_id': i['school_id'],
    
67.                    '类型': i['nature_name'], '城市': i['city_name'], '年份': year, '最低分': one['min'],
    
68.                    '最低排名': one['min_section'], '选课': one['sp_info']
    
69.                    }
    
70.             # print(one.keys())
    
71.             # print(one)
    
72.             # min=one['min']#最低分
    
73.             # min_section=one['min_section']#最低录取分数线
    
74.             # sp_info=one['sp_info']#选课
    
75.             # level1_name=one['level1_name']#专科还是本科
    
76.             # spname=one['spname']#专业名称
    
77.             print(dic)
    
78.             print("插入完成")
    
79. 
    
80.             # col.insert_one(dic)
    
81.             # break
    
82.         # print(data.keys())
    
83. 
    
84. 
    
85. 
    
86. if __name__ == '__main__':
    
87.     link=get_id()
    
88.     # link = [{'school_id': 2132, 'nature_name': '公办', 'city_name': '东营市', 'level_name': '普通本科', 'name': '山东石油化工学院'}]
    
89.     # print(link)
    
90.     get_url(link)
    

复制代码

代码应该是可以运行的，我已经让封了

53清

爬取的网站是中国在线Education，https://www.gaokao.cn/

wp231957

53清 发表于 2022-6-29 00:00
爬取的网站是中国在线Education，https://www.gaokao.cn/

这样可以把学校ID 都提取出来

1. import requests,json
   
2. 
   
3. url="https://static-gkcx.gaokao.cn/www/2.0/json/rank/22/lists.json"
   
4. headers={
   
5.      "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari",
   
6. }
   
7. res=requests.get(url,headers=headers)
   
8. data=json.loads(res.text)["data"]
   
9. for x in data:
   
10.     for y in data[x]:
    
11.         print(y["school_id"])
    

复制代码

53清

wp231957 发表于 2022-6-29 09:23
这样可以把学校ID 都提取出来

主要是这个37/1/14会变

53清

53清 发表于 2022-6-29 12:28
主要是这个37/1/14会变

是在爬取评论数据的时候出现问题了，id什么的都获取过了，例子
https://static-data.gaokao.cn/ww ... 9/64/37/1/14/1.json，2019是年份，64是学校id，最后的1.json是页数，主要是37/1/14我不知道怎么来的，它有些学校是共用一个，我也获取了一些数据，但总是有不一样的

wiselin

53清 发表于 2022-6-29 12:34
是在爬取评论数据的时候出现问题了，id什么的都获取过了，例子
https://static-data.gaokao.cn/www/2.0/ ...

这里你用正则表达式，通配这几个变化的数字试试