[已解决]关于爬取豆瓣TOP250电影排行榜的问题

dejavuaHK

关于爬取豆瓣TOP250电影排行榜请教一个问题：如果想第一个图片中抓取到电影的中英文所有名字，应该如何调整代码呢？我修改了span的代码为span[1]，但是系统报错。肯定不正确。testing

https://fishc.com.cn/thread-94979-1-1.html

最佳答案

月排行榜 / 总排行榜

临时号

2022-7-14 15:11:22

import requests
import bs4

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36'
}

res = requests.get("https://movie.douban.com/top250",headers=headers)
soup = bs4.BeautifulSoup(res.text,"html.parser")
targets = soup.find_all("div",class_="hd")
for each in targets:
    title = each.a.find_all("span")
    print(title[0].text+title[1].text+title[-1].text)

跳转到最佳答案楼层

临时号

import requests
import bs4

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36'
}

res = requests.get("https://movie.douban.com/top250",headers=headers)
soup = bs4.BeautifulSoup(res.text,"html.parser")
targets = soup.find_all("div",class_="hd")
for each in targets:
    title = each.a.find_all("span")
    print(title[0].text+title[1].text+title[-1].text)

dejavuaHK

临时号 发表于 2022-7-14 15:11

谢谢。

想确认一下：

也就是说单独是a.span.text产出默认第一个span的标签中文本。

如果要遍历一个标签的所有内容，就需要使用find_all的方法。