[已解决]爬取豆瓣影评的标签选择问题

珠江东之虎

请问一下，我在练习爬取豆瓣影评内容（就是希望令人自由那句话），但是不知道为什么我选择div class=“”bd“”作为父标签时，爬取的内容显示 'NoneType' object has no attribute 'find'，而将父标签选择为div class=info就可以爬取出来了呢？第一个div不也是 span 的父标签吗？

html代码为：

最佳答案

月排行榜 / 总排行榜

591821661

2021-4-12 13:28:42

在网站源代码中的第一个<class = "bd">下面并不存在<p class = "quote">这个标签.
所以comment1=j.find('p',class_='quote') 返回值为None
这也就是为什么会报错 NoneType Has no attibute named "find".
比如这个bd:

<div id="db-global-nav" class="global-nav">
  <div class="bd">
    
<div class="top-nav-info">
  <a href="https://accounts.douban.com/passport/login?source=movie" class="nav-login" rel="nofollow">登录/注册</a>
</div>

知道了原因也就很简单了，如果返回值是None，分类处理下。
修改后代码如下[验证通过]

import requests

from bs4 import BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}

res=requests.get('https://movie.douban.com/top250?start=0&filter=',headers=headers)

html=res.text

soup=BeautifulSoup(html,'html.parser')
   
comment_list=soup.find_all('div',class_='bd')


for j in comment_list: 
    comment1=j.find('p',class_='quote')
    if comment1 != None:
        comment2=comment1.find('span').text
    else:
        comment2="NoneType BD Find."
#    print(comment1,type(comment1))
    print(comment2)

如果觉得不错的话，请给我设置最佳答案，这是让我继续帮助更多鱼油的动力~

跳转到最佳答案楼层

珠江东之虎

我的代码是：
import requests

from bs4 import BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}

res=requests.get('https://movie.douban.com/top250?start=0&filter=',headers=headers)

html=res.text

soup=BeautifulSoup(html,'html.parser')
   
comment_list=soup.find_all('div',class_='bd')

for j in comment_list:

    comment1=j.find('p',class_='quote')
    comment2=comment1.find('span').text
   

    print(comment2)

   
   

bool想学C

学习一下

1179139252

为何不直接获取class = 'inq'呢。bs4 其实解析不是特别好用，推荐你用xpath

591821661

在网站源代码中的第一个<class = "bd">下面并不存在<p class = "quote">这个标签.
所以comment1=j.find('p',class_='quote') 返回值为None
这也就是为什么会报错 NoneType Has no attibute named "find".
比如这个bd:

<div id="db-global-nav" class="global-nav">
  <div class="bd">
    
<div class="top-nav-info">
  <a href="https://accounts.douban.com/passport/login?source=movie" class="nav-login" rel="nofollow">登录/注册</a>
</div>

知道了原因也就很简单了，如果返回值是None，分类处理下。
修改后代码如下[验证通过]

import requests

from bs4 import BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}

res=requests.get('https://movie.douban.com/top250?start=0&filter=',headers=headers)

html=res.text

soup=BeautifulSoup(html,'html.parser')
   
comment_list=soup.find_all('div',class_='bd')


for j in comment_list: 
    comment1=j.find('p',class_='quote')
    if comment1 != None:
        comment2=comment1.find('span').text
    else:
        comment2="NoneType BD Find."
#    print(comment1,type(comment1))
    print(comment2)

如果觉得不错的话，请给我设置最佳答案，这是让我继续帮助更多鱼油的动力~