[已解决]怎么快速知道requests.get后返内容的格式

丨游戏灬需要

怎么快速知道requests.get后返内容的格式到底是json还html格式?

最佳答案

月排行榜 / 总排行榜

鱼cpython学习者

2020-8-29 23:38:30

丨游戏灬需要 发表于 2020-9-2 12:40
这个答案不太完美啊.
例如这个网址url ='https://club.jd.com/comment/productPageComments.action?call ...

用正则方便，我就是用的正则

1. import re
   
2. import requests
   
3. res = requests.get('https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100009082466&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&rid=0&fold=1')  # headers懒得弄
   
4. dict1 = re.find(r'{.+}')[0]
   
5. dict1 = dict1.json()
   

复制代码

跳转到最佳答案楼层

鱼cpython学习者

丨游戏灬需要 发表于 2020-9-2 12:40
这个答案不太完美啊.
例如这个网址url ='https://club.jd.com/comment/productPageComments.action?call ...

用正则方便，我就是用的正则

1. import re
   
2. import requests
   
3. res = requests.get('https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100009082466&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&rid=0&fold=1')  # headers懒得弄
   
4. dict1 = re.find(r'{.+}')[0]
   
5. dict1 = dict1.json()
   

复制代码

newu

https://requests.readthedocs.io/ ... uickstart.html#json


可以看看requests库里面对json函数的说明。

那么如果get请求返回的是一个JSON格式的内容的话，那么它使用 r.json() 解码是不会抛ValueError的异常的。

kogawananari

1. res = requests.post(url, data=req)
   
2. if res.headers['Content-Type'] == 'application/json;charset=UTF-8':
   
3.     return res.json()
   
4. elif res.headers['Content-Type'] == 'text/html; charset=utf-8':
   
5.     pass

复制代码

get 和 post都适用
不嫌麻烦再用一下正则 因为指不定是什么charset

luxiaolan6373

{内容}  像这样的就是json   其它的,,那种网页标签的就是xml

丨游戏灬需要

newu 发表于 2020-8-29 23:55
https://requests.readthedocs.io/zh_CN/latest/user/quickstart.html#json

这个答案不太完美啊.
例如这个网址url ='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100009082466&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&rid=0&fold=1'
(它是京东的商品评论区数据)
它是一个json ,但它还需要处理去掉前后缀才能respon.json()转换成字典.

所有有没有大家所统一的解决方法?

鱼cpython学习者

用正则最方便了

1. import re
   
2. import requests
   
3. res = requests.get(url = url, headers = headers)    # url和headers自己弄
   
4. content = re.find_all(r'{.+}', res.text)[0]
   
5. dict = content.json()

复制代码

鱼cpython学习者

丨游戏灬需要 发表于 2020-9-2 12:40
这个答案不太完美啊.
例如这个网址url ='https://club.jd.com/comment/productPageComments.action?call ...

用正则最方便了

1. import re
   
2. import requests
   
3. res = requests.get(url = url, headers = headers)    # url和headers自己弄
   
4. content = re.find_all(r'{.+}', res.text)[0]
   
5. dict = content.json()

复制代码

YunGuo

丨游戏灬需要 发表于 2020-9-2 12:40
这个答案不太完美啊.
例如这个网址url ='https://club.jd.com/comment/productPageComments.action?call ...

把京东评论json数据url中 callback=fetchJSON_comment98& 手动删掉就可以得到一个比较短的json数据url（数据中的fetchJSON_comment98就没有了），然后用json库的loads方法转成字典最后获取key的值得到评论

丨游戏灬需要

懂了懂了 ,爬取时 ,直接用正则去匹配

if re.search(r'({|[).+(}|])' ,response.text):        #我听说有json信息是用列表包起字典来的
    res_json_data =response.json()
else:
    soup =bs4.BeautifulSoup(response.text)

这样应该没错(但我不知道 ,有没有可能html里面包含字典或列表)

suchocolate

RFC2616里说，Body内对象类型要在Header里用Content-type指示出来，所以一般看Header就知道了。

1. >>> import requests
   
2. >>> url = 'https://www.baidu.com'
   
3. >>> headers = {'user-agent': 'firefox'}
   
4. >>> r = requests.get(url, headers=headers)
   
5. >>> print(r.headers.get('Content-type'))
   
6. text/html;charset=utf-8
   
7. >>>
   

复制代码

规范连接：https://tools.ietf.org/html/rfc2616#section-7.2.1
都有哪些类型参考：http://www.iana.org/assignments/media-types/media-types.xhtml