天牛 发表于 2020-11-28 08:54:32

关于数据存储，请大神赐教！

import requests
import json

url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'

header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0'
    }

id_datas = []
for page in range(1,200):
    page = str(page)   
    data = {
      'on':'true',
      'page':page,
      'pageSize':'15',
      'productName':'',
      'condition':'1',
      'applyname':'',
      'applysn':''
      }
    response = requests.post(url=url,data=data,headers=header)
    dict_json = response.json()
    id_datas.append(dict_json)


以上代码报错：json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
如果爬取少量数据可以！
应该如何解决？{:10_249:}

qiuyouzhi 发表于 2020-11-28 09:00:08

测试了一下，发现有爬取下来是空的的网页，于是加了个判断
import requests
import json

url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'

header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0'
    }

id_datas = []
for page in range(1,200):
    page = str(page)   
    data = {
      'on':'true',
      'page':page,
      'pageSize':'15',
      'productName':'',
      'condition':'1',
      'applyname':'',
      'applysn':''
      }
    response = requests.post(url=url,data=data,headers=header)
    if response.text:
      dict_json = response.json()
      id_datas.append(dict_json)

天牛 发表于 2020-11-28 09:28:48

qiuyouzhi 发表于 2020-11-28 09:00
测试了一下，发现有爬取下来是空的的网页，于是加了个判断

学习了，感谢！

qiuyouzhi 发表于 2020-11-28 09:38:36

天牛 发表于 2020-11-28 09:28
学习了，感谢！

如果问题已解决，请设置【最佳答案】~
页: [1]
查看完整版本: 关于数据存储，请大神赐教！