鱼C论坛

 找回密码
 立即注册
查看: 1880|回复: 4

[已解决]极客Python之效率革命:爬取豆瓣 TOP250 电影排行榜

[复制链接]
发表于 2020-8-9 08:48:16 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
  1. <span class="next">
  2.             <link href="?start=125&filter=" rel="next"><a href="?start=125&filter=">后页></a>
  3.             
  4.         </span>
复制代码
  1. def find_depth(res):
  2.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
  3.     depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text

  4.     return int(depth)
复制代码
depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text这一句的.previous_sibling.previous_sibling是干什么的?
这个depth为什么可以转成整形?



最佳答案
2020-8-9 09:05:46

depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text这一句的.previous_sibling.previous_sibling是干什么的?


previous_sibling 是获取该节点的上一个兄弟节点,可以看看这里的文档,第五点遍历文档树目录,蛮详细说明这些用法:https://www.cnblogs.com/scios/p/8652760.html
5.png


这个depth为什么可以转成整形?


这里获取的是页码, depth 返回的是一个整型字符串,所以可以 int 转为整数
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2020-8-9 08:57:35 | 显示全部楼层
1. previous_sibling 属性返回选定节点的上一个同级节点

2. depth 是一个字符串
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-8-9 09:05:46 | 显示全部楼层    本楼为最佳答案   

depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text这一句的.previous_sibling.previous_sibling是干什么的?


previous_sibling 是获取该节点的上一个兄弟节点,可以看看这里的文档,第五点遍历文档树目录,蛮详细说明这些用法:https://www.cnblogs.com/scios/p/8652760.html
5.png


这个depth为什么可以转成整形?


这里获取的是页码, depth 返回的是一个整型字符串,所以可以 int 转为整数
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-8-9 09:20:23 | 显示全部楼层
可不可用具体说明一下,第一次的 .previous_sibling和第二次的. previous_sibling都是什么?
因为按我的理解第一次应该是10,第二次10的上一个兄弟节点就是9了,但是这很明显不对
  1. <div class="paginator">
  2.         <span class="prev">
  3.             &lt;前页
  4.         </span>
  5.         
  6.         

  7.                 <span class="thispage">1</span>
  8.                
  9.             <a href="?start=25&amp;filter=">2</a>
  10.         
  11.                
  12.             <a href="?start=50&amp;filter=">3</a>
  13.         
  14.                
  15.             <a href="?start=75&amp;filter=">4</a>
  16.         
  17.                
  18.             <a href="?start=100&amp;filter=">5</a>
  19.         
  20.                
  21.             <a href="?start=125&amp;filter=">6</a>
  22.         
  23.                
  24.             <a href="?start=150&amp;filter=">7</a>
  25.         
  26.                
  27.             <a href="?start=175&amp;filter=">8</a>
  28.         
  29.                
  30.             <a href="?start=200&amp;filter=">9</a>
  31.         
  32.                
  33.             <a href="?start=225&amp;filter=">10</a>
  34.         
  35.         <span class="next">
  36.             <link href="?start=25&amp;filter=" rel="next">
  37.             <a href="?start=25&amp;filter=">后页&gt;</a>
  38.         </span>

  39.             <span class="count">(共250条)</span>
  40.         </div>
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-8-9 09:26:29 | 显示全部楼层
月魔同学 发表于 2020-8-9 09:20
可不可用具体说明一下,第一次的 .previous_sibling和第二次的. previous_sibling都是什么?
因为按我的理 ...

如果第一次返回的是第四行的span这个节点,那么上一兄弟节点不就是第二行的那个了吗
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-25 03:46

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表