[已解决]关于数据存储，请大神赐教！

天牛

import requests
import json

url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'

header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0'
    }

id_datas = []
for page in range(1,200):
    page = str(page)   
    data = {
        'on':'true',
        'page':page,
        'pageSize':'15',
        'productName':'',
        'condition':'1',
        'applyname':'',
        'applysn':''
        }
    response = requests.post(url=url,data=data,headers=header)
    dict_json = response.json()
    id_datas.append(dict_json)

以上代码报错：json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
如果爬取少量数据可以！
应该如何解决？

最佳答案

月排行榜 / 总排行榜

qiuyouzhi

2020-11-28 09:00:08

测试了一下，发现有爬取下来是空的的网页，于是加了个判断

import requests
import json

url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'

header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0'
    }

id_datas = []
for page in range(1,200):
    page = str(page)   
    data = {
        'on':'true',
        'page':page,
        'pageSize':'15',
        'productName':'',
        'condition':'1',
        'applyname':'',
        'applysn':''
        }
    response = requests.post(url=url,data=data,headers=header)
    if response.text:
        dict_json = response.json()
        id_datas.append(dict_json)

跳转到最佳答案楼层

qiuyouzhi

测试了一下，发现有爬取下来是空的的网页，于是加了个判断

import requests
import json

url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'

header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0'
    }

id_datas = []
for page in range(1,200):
    page = str(page)   
    data = {
        'on':'true',
        'page':page,
        'pageSize':'15',
        'productName':'',
        'condition':'1',
        'applyname':'',
        'applysn':''
        }
    response = requests.post(url=url,data=data,headers=header)
    if response.text:
        dict_json = response.json()
        id_datas.append(dict_json)

天牛

qiuyouzhi 发表于 2020-11-28 09:00
测试了一下，发现有爬取下来是空的的网页，于是加了个判断

学习了，感谢！

qiuyouzhi

天牛 发表于 2020-11-28 09:28
学习了，感谢！

如果问题已解决，请设置【最佳答案】~