[已解决]爬取豆瓣影评的标签选择问题

珠江东之虎

请问一下，我在练习爬取豆瓣影评内容（就是希望令人自由那句话），但是不知道为什么我选择div class=“”bd“”作为父标签时，爬取的内容显示 'NoneType' object has no attribute 'find'，而将父标签选择为div class=info就可以爬取出来了呢？第一个div不也是 span 的父标签吗？

html代码为：

最佳答案

月排行榜 / 总排行榜

591821661

2021-4-12 13:28:42

在网站源代码中的第一个<class = "bd">下面并不存在<p class = "quote">这个标签.
所以comment1=j.find('p',class_='quote') 返回值为None
这也就是为什么会报错 NoneType Has no attibute named "find".
比如这个bd:

1. <div id="db-global-nav" class="global-nav">
   
2.   <div class="bd">
   
3.    
   
4. <div class="top-nav-info">
   
5.   <a href="https://accounts.douban.com/passport/login?source=movie" class="nav-login" rel="nofollow">登录/注册</a>
   
6. </div>

复制代码

知道了原因也就很简单了，如果返回值是None，分类处理下。
修改后代码如下[验证通过]

1. 
   
2. 
   
3. import requests
   
4. 
   
5. from bs4 import BeautifulSoup
   
6. 
   
7. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
   
8. 
   
9. res=requests.get('https://movie.douban.com/top250?start=0&filter=',headers=headers)
   
10. 
    
11. html=res.text
    
12. 
    
13. soup=BeautifulSoup(html,'html.parser')
    
14.    
    
15. comment_list=soup.find_all('div',class_='bd')
    
16. 
    
17. 
    
18. for j in comment_list:
    
19.     comment1=j.find('p',class_='quote')
    
20.     if comment1 != None:
    
21.         comment2=comment1.find('span').text
    
22.     else:
    
23.         comment2="NoneType BD Find."
    
24. #    print(comment1,type(comment1))
    
25.     print(comment2)
    
26. 
    

复制代码

如果觉得不错的话，请给我设置最佳答案，这是让我继续帮助更多鱼油的动力~

跳转到最佳答案楼层

珠江东之虎

我的代码是：
import requests

from bs4 import BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}

res=requests.get('https://movie.douban.com/top250?start=0&filter=',headers=headers)

html=res.text

soup=BeautifulSoup(html,'html.parser')
   
comment_list=soup.find_all('div',class_='bd')

for j in comment_list:

    comment1=j.find('p',class_='quote')
    comment2=comment1.find('span').text
   

    print(comment2)

   
   

bool想学C

学习一下

1179139252

为何不直接获取class = 'inq'呢。bs4 其实解析不是特别好用，推荐你用xpath

591821661

在网站源代码中的第一个<class = "bd">下面并不存在<p class = "quote">这个标签.
所以comment1=j.find('p',class_='quote') 返回值为None
这也就是为什么会报错 NoneType Has no attibute named "find".
比如这个bd:

1. <div id="db-global-nav" class="global-nav">
   
2.   <div class="bd">
   
3.    
   
4. <div class="top-nav-info">
   
5.   <a href="https://accounts.douban.com/passport/login?source=movie" class="nav-login" rel="nofollow">登录/注册</a>
   
6. </div>

复制代码

知道了原因也就很简单了，如果返回值是None，分类处理下。
修改后代码如下[验证通过]

1. 
   
2. 
   
3. import requests
   
4. 
   
5. from bs4 import BeautifulSoup
   
6. 
   
7. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
   
8. 
   
9. res=requests.get('https://movie.douban.com/top250?start=0&filter=',headers=headers)
   
10. 
    
11. html=res.text
    
12. 
    
13. soup=BeautifulSoup(html,'html.parser')
    
14.    
    
15. comment_list=soup.find_all('div',class_='bd')
    
16. 
    
17. 
    
18. for j in comment_list:
    
19.     comment1=j.find('p',class_='quote')
    
20.     if comment1 != None:
    
21.         comment2=comment1.find('span').text
    
22.     else:
    
23.         comment2="NoneType BD Find."
    
24. #    print(comment1,type(comment1))
    
25.     print(comment2)
    
26. 
    

复制代码

如果觉得不错的话，请给我设置最佳答案，这是让我继续帮助更多鱼油的动力~