[已解决]关于豆瓣爬虫的一个问题

17856563101

1. import requests
   
2. import json
   
3. if __name__=="__main__":
   
4.     url = "https://movie.douban.com/j/chart/top_list_count?"
   
5.     param = {
   
6.         'type': '24',
   
7.         'interval_id': '100:90',
   
8.         'action':' ',
   
9.         'start': '1',#表示从库中第几部电影去取
   
10.         'limit': '20',#一次请求取出的个数
    
11.     }
    
12.     headers = {
    
13.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 Edg/104.0.1293.70'
    
14.     }
    
15.     response = requests.get(url = url,params = param,headers = headers)
    
16. 
    
17.     list_data = response.json()
    
18. 
    
19.     fp = open('./douban.json','w',encoding = 'utf-8')
    
20.     json.dump(list_data,fp = fp,ensure_ascii=False)
    
21.     fp.close()
    
22.     print("over!!")
    

复制代码

为啥最后的结果不是我想要的数据呀 来个大佬解释一下

1. {"playable_count": 469, "total": 594, "unwatched_count": 594}

复制代码

得到的结果是这样的，我不知道是哪一步出错了

最佳答案

月排行榜 / 总排行榜

临时号

2022-9-3 16:27:05

接口都错了,能爬到数据就有G了

1. import requests
   
2. import json
   
3. 
   
4. url = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20"
   
5. headers = {
   
6.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 Edg/104.0.1293.70'
   
7. }
   
8. response = requests.get(url,headers=headers)
   
9. 
   
10. list_data = response.json()
    
11. 
    
12. fp = open('./douban.json','w',encoding = 'utf-8')
    
13. json.dump(list_data,fp = fp,ensure_ascii=False)
    
14. fp.close()
    
15. print("over")

复制代码

跳转到最佳答案楼层

临时号

接口都错了,能爬到数据就有G了

1. import requests
   
2. import json
   
3. 
   
4. url = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20"
   
5. headers = {
   
6.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 Edg/104.0.1293.70'
   
7. }
   
8. response = requests.get(url,headers=headers)
   
9. 
   
10. list_data = response.json()
    
11. 
    
12. fp = open('./douban.json','w',encoding = 'utf-8')
    
13. json.dump(list_data,fp = fp,ensure_ascii=False)
    
14. fp.close()
    
15. print("over")

复制代码

ZhKQYu

你想获取啥数据呢  这个接口返回的数据就是这样的

Lai013

你想得到什么呢
要不你检查下你的url是否正确

17856563101

想得到的结果是豆瓣主页面的电影的信息

临时号

17856563101 发表于 2022-9-3 19:13
想得到的结果是豆瓣主页面的电影的信息

是那个热门电影吗

hveagle

临时号 发表于 2022-9-3 20:09
是那个热门电影吗

我猜是的

17856563101

临时号 发表于 2022-9-3 20:09
是那个热门电影吗

是的就是页面显示的一些电影排名

ll.pc

你的数据解析出错了

临时号

17856563101 发表于 2022-9-4 18:09
是的就是页面显示的一些电影排名

排名?豆瓣top250?
如果不是的话就发图片出来

ZhKQYu

17856563101 发表于 2022-9-4 18:09
是的就是页面显示的一些电影排名

https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&page_limit=400&page_start=0
试试这个接口，page_limit是每页显示多少电影，page_start是从第几页显示

17856563101

是这个页面
https://movie.douban.com/typeran ... =100:90&action=

17856563101

临时号 发表于 2022-9-5 13:13
接口都错了,能爬到数据就有G了