爬取豆瓣影评的标签选择问题
请问一下，我在练习爬取豆瓣影评内容（就是希望令人自由那句话），但是不知道为什么我选择div class=“”bd“”作为父标签时，爬取的内容显示 'NoneType' object has no attribute 'find'，而将父标签选择为div class=info就可以爬取出来了呢？第一个div不也是 span 的父标签吗？html代码为：
我的代码是：
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
res=requests.get('https://movie.douban.com/top250?start=0&filter=',headers=headers)
html=res.text
soup=BeautifulSoup(html,'html.parser')
comment_list=soup.find_all('div',class_='bd')
for j in comment_list:
comment1=j.find('p',class_='quote')
comment2=comment1.find('span').text
print(comment2)
{:10_245:}{:10_245:}{:10_245:}{:10_245:}学习一下 为何不直接获取class = 'inq'呢。bs4 其实解析不是特别好用，推荐你用xpath 本帖最后由 591821661 于 2021-4-12 13:38 编辑
在网站源代码中的第一个<class = "bd">下面并不存在<p class = "quote">这个标签.
所以comment1=j.find('p',class_='quote') 返回值为None
这也就是为什么会报错 NoneType Has no attibute named "find".
比如这个bd:
<div id="db-global-nav" class="global-nav">
<div class="bd">
<div class="top-nav-info">
<a href="https://accounts.douban.com/passport/login?source=movie" class="nav-login" rel="nofollow">登录/注册</a>
</div>
知道了原因也就很简单了，如果返回值是None，分类处理下。
修改后代码如下[验证通过]
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
res=requests.get('https://movie.douban.com/top250?start=0&filter=',headers=headers)
html=res.text
soup=BeautifulSoup(html,'html.parser')
comment_list=soup.find_all('div',class_='bd')
for j in comment_list:
comment1=j.find('p',class_='quote')
if comment1 != None:
comment2=comment1.find('span').text
else:
comment2="NoneType BD Find."
# print(comment1,type(comment1))
print(comment2)
如果觉得不错的话，请给我设置最佳答案，这是让我继续帮助更多鱼油的动力~
页:
[1]