dejavuaHK 发表于 2022-7-14 13:49:22

关于爬取豆瓣TOP250电影排行榜的问题

本帖最后由 dejavuaHK 于 2022-7-15 12:22 编辑

关于爬取豆瓣TOP250电影排行榜请教一个问题:如果想第一个图片中抓取到电影的中英文所有名字,应该如何调整代码呢?我修改了span的代码为span,但是系统报错。肯定不正确。testing

https://fishc.com.cn/thread-94979-1-1.html






临时号 发表于 2022-7-14 15:11:22

import requests
import bs4

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36'
}

res = requests.get("https://movie.douban.com/top250",headers=headers)
soup = bs4.BeautifulSoup(res.text,"html.parser")
targets = soup.find_all("div",class_="hd")
for each in targets:
    title = each.a.find_all("span")
    print(title.text+title.text+title[-1].text)

dejavuaHK 发表于 2022-7-14 16:55:15

临时号 发表于 2022-7-14 15:11


谢谢。

想确认一下:

也就是说单独是a.span.text产出默认第一个span的标签中文本。

如果要遍历一个标签的所有内容,就需要使用find_all的方法。
页: [1]
查看完整版本: 关于爬取豆瓣TOP250电影排行榜的问题