[已解决]关于爬取豆瓣排名250的一点问题

W1ND123

由于是付费内容，所以只截取出错部分

# 找出一共有多少个页面
def find_depth(res):
    soup = bs4.BeautifulSoup(res.text, 'html.parser')
    depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text

    return int(depth)


报错如下:
depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text
AttributeError: 'NoneType' object has no attribute 'previous_sibling'

这是为什么呢？

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-12-5 18:39:19

soup.find('span', class_='next') 没有找到内容，得到的就是None，None没有previous_sibling方法，所以报这个错。
看到这个代码估计都是同一批教程抄的，太老了。不值得付费看。
免费爬虫教程：https://gitee.com/Python3WebSpider/Python3WebSpider

跳转到最佳答案楼层

W1ND123

温湿度 发表于 2021-12-5 16:19
;P:L:handshake

啊 没看懂。。

suchocolate

soup.find('span', class_='next') 没有找到内容，得到的就是None，None没有previous_sibling方法，所以报这个错。
看到这个代码估计都是同一批教程抄的，太老了。不值得付费看。
免费爬虫教程：https://gitee.com/Python3WebSpider/Python3WebSpider

lightninng

W1ND123 发表于 2021-12-5 16:44
啊 没看懂。。

自己一步步调试就好了啊
比如，你现在提示是 'NoneType' object has no attribute 'previous_sibling'，不懂意思就先百度下这句话什么意思

根据你的代码和报错文本大概能判断是某个previous_sibling的前面没找到东西
那把你的代码中depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text这一句
前面把两个previous_sibling前面的部分都打印一下呗

变成这样

1. 
   
2. ......
   
3.     print(soup.find('span', class_='next'))     #第一个previous_sibling前面的内容
   
4.     print(soup.find('span', class_='next').previous_sibling) #第二个previous_sibling前面的内容
   
5.     depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text

复制代码

看下哪里出了问题

在提问前要想办法解决问题，因为不是所有的问题都能在坛子上找到答案的，只有自己掌握解决问题的路径和方法才是初学编程最需要培养的东西~

W1ND123

lightninng 发表于 2021-12-5 18:41
自己一步步调试就好了啊
比如，你现在提示是 'NoneType' object has no attribute 'previous_sibling'， ...

谢谢！