[已解决]新手求问，爬取豆瓣 TOP250 电影排行榜那个例子的问题

Astray.R

import requests
import bs4
res = requests.get("https://movie.douban.com/top250")
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", class_="hd")
for each in targets:
print(each.a.span.text)


<span class="title">肖申克的救赎</span>
<span class="title">&#160;/&#160;The Shawshank Redemption</span>
<span class="other">&#160;/&#160;月黑高飞(港)  /  刺激1995(台)</span>

span那不是有3行吗，为什么只打印了第一行的，如果要打印第二行和第三行应该怎样？

最佳答案

月排行榜 / 总排行榜

塔利班

2019-2-7 23:44:07

多个相同子标签只选第一个，可以用next_sibling依次调整选择下个标签，

跳转到最佳答案楼层

塔利班

多个相同子标签只选第一个，可以用next_sibling依次调整选择下个标签，

wongyusing

1. import requests
   
2. from bs4 import BeautifulSoup as bs
   
3. 
   
4. def get_response(url,encoding_type):
   
5.     header = {
   
6.         'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
   
7.     }
   
8.     response = requests.get(url=url,headers=header)
   
9.     response.encoding = encoding_type     
   
10.     return response
    
11. 
    
12. def main():
    
13.     encoding_type = 'utf-8'
    
14.     url = 'https://movie.douban.com/top250'
    
15.     response = get_response(url,encoding_type)
    
16.     soup = bs(response.text,'lxml')
    
17.     for each in soup.select('.hd a span'):
    
18.         print(each.text)
    
19.    
    
20. main()

复制代码

记忆的欠片

只能显示出第一行的原因是用了text，使用text后，会把当前行之后的数据去掉（好像是这样，记不大清楚）。推荐阅读《Python网络数据采集》

Astray.R

塔利班 发表于 2019-2-7 23:44
多个相同子标签只选第一个，可以用next_sibling依次调整选择下个标签，

可以啦，谢谢