[已解决]关于数据存储，请大神赐教！

天牛

1. import requests
   
2. import json
   
3. 
   
4. url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
   
5. 
   
6. header = {
   
7.     'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0'
   
8.     }
   
9. 
   
10. id_datas = []
    
11. for page in range(1,200):
    
12.     page = str(page)   
    
13.     data = {
    
14.         'on':'true',
    
15.         'page':page,
    
16.         'pageSize':'15',
    
17.         'productName':'',
    
18.         'condition':'1',
    
19.         'applyname':'',
    
20.         'applysn':''
    
21.         }
    
22.     response = requests.post(url=url,data=data,headers=header)
    
23.     dict_json = response.json()
    
24.     id_datas.append(dict_json)
    

复制代码

以上代码报错：json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
如果爬取少量数据可以！
应该如何解决？

最佳答案

月排行榜 / 总排行榜

qiuyouzhi

2020-11-28 09:00:08

测试了一下，发现有爬取下来是空的的网页，于是加了个判断

1. import requests
   
2. import json
   
3. 
   
4. url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
   
5. 
   
6. header = {
   
7.     'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0'
   
8.     }
   
9. 
   
10. id_datas = []
    
11. for page in range(1,200):
    
12.     page = str(page)   
    
13.     data = {
    
14.         'on':'true',
    
15.         'page':page,
    
16.         'pageSize':'15',
    
17.         'productName':'',
    
18.         'condition':'1',
    
19.         'applyname':'',
    
20.         'applysn':''
    
21.         }
    
22.     response = requests.post(url=url,data=data,headers=header)
    
23.     if response.text:
    
24.         dict_json = response.json()
    
25.         id_datas.append(dict_json)

复制代码

跳转到最佳答案楼层

qiuyouzhi

测试了一下，发现有爬取下来是空的的网页，于是加了个判断

1. import requests
   
2. import json
   
3. 
   
4. url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
   
5. 
   
6. header = {
   
7.     'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0'
   
8.     }
   
9. 
   
10. id_datas = []
    
11. for page in range(1,200):
    
12.     page = str(page)   
    
13.     data = {
    
14.         'on':'true',
    
15.         'page':page,
    
16.         'pageSize':'15',
    
17.         'productName':'',
    
18.         'condition':'1',
    
19.         'applyname':'',
    
20.         'applysn':''
    
21.         }
    
22.     response = requests.post(url=url,data=data,headers=header)
    
23.     if response.text:
    
24.         dict_json = response.json()
    
25.         id_datas.append(dict_json)

复制代码

天牛

qiuyouzhi 发表于 2020-11-28 09:00
测试了一下，发现有爬取下来是空的的网页，于是加了个判断

学习了，感谢！

qiuyouzhi

天牛 发表于 2020-11-28 09:28
学习了，感谢！

如果问题已解决，请设置【最佳答案】~