豆瓣爬取排名250电影的问题

xxsgxsg · 发表于 2019-5-16 22:05:04

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

def find_depth(res):
soup = bs4.BeautifulSoup(res.text, 'html.parser')
depth = soup.find('span', class_ = 'next').previous_sibling.previous_sibling.text
return int(depth)

这个previous_sibling.previous)sibling.text 是什么意思，怎么得出总页数是10的呀？

kaohsing · 发表于 2019-5-17 10:16:08

nextSibling - 获取节点的下一个同级节点
previousSibling - 获取节点的上一个同级节点

kaohsing · 发表于 2019-5-17 10:33:51

import requests
import bs4
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '}
res = requests.get('https://movie.douban.com/top250', headers = headers)
soup = bs4.BeautifulSoup(res.text, 'html.parser')
pages = soup.find_all('div', class_= 'paginator')[0].find_all('a')[-2].text
print(pages)

复制代码

账号		自动登录	找回密码
密码			立即注册