卅向东 发表于 2021-5-23 22:23:22

爬取豆瓣页面电影信息出错

编写代码如下：
<import requests
import json
url='https://movie.douban.com/tv'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0'}

para={
    'type':'tv',
    'tag': '热门',
    'sort':'recommend',
    'page_limit':'1',
    'page_start':'20'
      
}
response=requests.get(url=url,params=para,headers=headers)
list_data=response.json
f=open(r'C:\Users\afuming\Desktop\火烧坝\papa\doubantv.json','w',encoding='utf-8')
      
json.dump(list_data,fp=f,ensure_ascii=False)
print('完成')>   
运行时报错信息为‘Object of type method is not JSON serializable’，请问有哪位老师能给出一个解决办法，在此谢谢了。

suchocolate 发表于 2021-5-23 22:43:24

本帖最后由 suchocolate 于 2021-5-23 23:00 编辑

response = requests.get(url=url, params=para, headers=headers) 这个返回的不是json，是html。
想要解决方法，要看你想爬的具体的内容是什么。

笨鸟学飞 发表于 2021-5-24 22:40:59

json库稳定性差，json数据稍微有点异常就会报错，正常现象
换ujson库，即可解决问题

卅向东 发表于 2021-5-25 20:58:45

suchocolate 发表于 2021-5-23 22:43
response = requests.get(url=url, params=para, headers=headers) 这个返回的不是json，是html。
想要解 ...

我想获取的是一个页面下某个栏目的所有电影信息

卅向东 发表于 2021-5-25 21:36:06

笨鸟学飞 发表于 2021-5-24 22:40
json库稳定性差，json数据稍微有点异常就会报错，正常现象
换ujson库，即可解决问题

请问ujson在哪里下载和如何安装，我没搞懂&#128532;

笨鸟学飞 发表于 2021-5-26 11:13:52

卅向东 发表于 2021-5-25 21:36
请问ujson在哪里下载和如何安装，我没搞懂&#128532;

https://blog.csdn.net/Jasmine_2018/article/details/80929966
可以看看这个
页: [1]
查看完整版本: 爬取豆瓣页面电影信息出错