python爬虫爬取豆瓣科幻电影名单为啥爬取不了？

浮华_warren

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. def get_movies():
   
4.         headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0','Host':'movie.douban.com'}
   
5.         sciencemovies_list=[]
   
6.         link='https://movie.douban.com/explore#!type=movie&tag=%E7%A7%91%E5%B9%BB&sort=rank&page_limit=20&page_start=0'
   
7.         r=requests.get(link,headers=headers)
   
8.         soup=BeautifulSoup(r.text,'lxml')
   
9.         list_movies=soup.find_all('a',class_='item')
   
10.         for each in list_movies:
    
11.                 movie=each.p.text
    
12.                 sciencemovies_list.append(movie)
    
13.         return sciencemovies_list
    
14. movies=get_movies()
    
15. print(movies)

复制代码

YunGuo

网页源代码中不存在数据，你能爬取到那才是奇迹。。。

去请求数据接口获取数据：https://movie.douban.com/j/search_subjects
携带参数：
type：movie （固定）
tag：科幻（类型）
sort：rank（排序方式，按评价排序，可以固定，除非你有其它要求）
page_limit：20（每一页显示数，可以固定）
page_start：0（翻页参数，每一页+20）

浮华_warren

YunGuo 发表于 2021-2-19 19:41
网页源代码中不存在数据，你能爬取到那才是奇迹。。。

去请求数据接口获取数据：https://movie.douban.c ...

好的，谢谢

心驰神往

解决了吗，lz

墨砚学长

插眼

何处追寻

都是大佬

Minecraft程序猿

2001:太空漫游