[已解决]求助关于json.loads()报错

光头大帅比

这是我看完小甲鱼爬取网易云评论后效仿爬取京东评论的代码，json文件能够正常获取，但是在使用json.loads()时报错，望各位大佬指出是哪里错了


源代码文本形式如下：

import requests
import json
headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
           'refer':'https://item.jd.com/100008348542.html'
    }
url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100008348542&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
res = requests.get(url,headers = headers)
print(res.text)
data = json.loads(res.text)
print(data)

由于京东平台评论数据与网易云评论的数据的差异，上述代码获取到的res.text中的数据并不是标准的json格式（简单来说json格式可以理解为python的字典数据用引号括起来形成的字符串），并不能直接利用json.loads()进行转换，需要对该数据进行清洗，将最前面的   “fetchJSON_comment98(”     以及最后面的  “)”  去掉才是标准的json格式，以下是我在大佬指点下修改的代码：

import requests
import json
headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
           'refer':'https://item.jd.com/100008348542.html'
    }
url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100008348542&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
res = requests.get(url,headers = headers)
s1 = res.text.split('fetchJSON_comment98(')[1]
finalres = s1[:-2]
print('此时的数据类型是：')
print(type(finalres))
print('现在进行json.loads()转换')
data = json.loads(finalres)
print('转换完了，此时数据类型是：')
print(type(data))

从结果可以看出，成功进行了数据转换获得了字典类型

最佳答案

月排行榜 / 总排行榜

qiuyouzhi

2020-3-17 19:18:29

光头大帅比 发表于 2020-3-17 19:15
我记得是loads把json字符串转换成字典，dumps把字典转换成json字符串呀

是能转换成字典，但是要的是未转换就是个字典的参数

跳转到最佳答案楼层

qiuyouzhi

把s去掉？

光头大帅比

qiuyouzhi 发表于 2020-3-17 17:55
把s去掉？

报了另一个错。。。

qiuyouzhi

光头大帅比 发表于 2020-3-17 18:02
报了另一个错。。。

你把源代码以文本形式发出来

一个账号

光头大帅比 发表于 2020-3-17 18:02
报了另一个错。。。

把 data = json.load() 改为 data = res.json()

光头大帅比

qiuyouzhi 发表于 2020-3-17 18:08
你把源代码以文本形式发出来

import requests
import json
headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
           'refer':'https://item.jd.com/100008348542.html'
    }
url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100008348542&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
res = requests.get(url,headers = headers)
print(res.text)
data = json.load(res.text)
print(data)

qiuyouzhi

光头大帅比 发表于 2020-3-17 18:46
import requests
import json
headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) Ap ...

你最后两步是要干嘛？
data不应该是一个字典吗？

光头大帅比

qiuyouzhi 发表于 2020-3-17 18:48
你最后两步是要干嘛？
data不应该是一个字典吗？

就是获取了json后想把json文件通过json.loads转换成字典形式赋值给data呀

qiuyouzhi

光头大帅比 发表于 2020-3-17 18:56
就是获取了json后想把json文件通过json.loads转换成字典形式赋值给data呀

要的是字典，不是结果是字典

光头大帅比

qiuyouzhi 发表于 2020-3-17 19:06
要的是字典，不是结果是字典

我记得是loads把json字符串转换成字典，dumps把字典转换成json字符串呀

qiuyouzhi

光头大帅比 发表于 2020-3-17 19:15
我记得是loads把json字符串转换成字典，dumps把字典转换成json字符串呀

是能转换成字典，但是要的是未转换就是个字典的参数

光头大帅比

一个账号 发表于 2020-3-17 18:35
把 data = json.load() 改为 data = res.json()

不是json.loads()然后括号里输入json格式的字符串吗

一个账号

光头大帅比 发表于 2020-3-17 19:19
不是json.loads()然后括号里输入json格式的字符串吗

用 requests 自带的就行了

光头大帅比

qiuyouzhi 发表于 2020-3-17 19:18
是能转换成字典，但是要的是未转换就是个字典的参数

我明白了，我看了一眼前面print出来的json字符串，里面还有一段不是键值对形式的东西，应该是这个东西导致的

光头大帅比

qiuyouzhi 发表于 2020-3-17 19:18
是能转换成字典，但是要的是未转换就是个字典的参数

成了，我改了一下代码，把里面包含的json格式清洗出来了，感谢大佬不吝赐教，下面是我更改后的代码：

import requests
import json
headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
           'refer':'https://item.jd.com/100008348542.html'
    }
url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100008348542&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
res = requests.get(url,headers = headers)
s1 = res.text.split('fetchJSON_comment98(')[1]
finalres = s1[:-2]
print('此时的数据类型是：')
print(type(finalres))
print('现在进行json.loads()转换')
data = json.loads(finalres)
print('转换完了，此时数据类型是：')
print(type(data))


运行结果如图，成功实现了转换


再次感谢大佬

qiuyouzhi

光头大帅比 发表于 2020-3-17 20:41
成了，我改了一下代码，把里面包含的json格式清洗出来了，感谢大佬不吝赐教，下面是我更改后的代码：

...

那就设个最佳答案，把帖子结了吧~

光头大帅比

qiuyouzhi 发表于 2020-3-17 20:45
那就设个最佳答案，把帖子结了吧~

嗯 谢谢大佬  我顺便把方法放到第一楼去方便别人参考

qiuyouzhi

光头大帅比 发表于 2020-3-17 20:55
嗯 谢谢大佬  我顺便把方法放到第一楼去方便别人参考

嗯嗯