月魔同学 发表于 2020-8-9 08:48:16

极客Python之效率革命:爬取豆瓣 TOP250 电影排行榜

<span class="next">
            <link href="?start=125&filter=" rel="next"><a href="?start=125&filter=">后页></a>
            
      </span>
def find_depth(res):
    soup = bs4.BeautifulSoup(res.text, 'html.parser')
    depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text

    return int(depth)
depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text这一句的.previous_sibling.previous_sibling是干什么的?
这个depth为什么可以转成整形?



zltzlt 发表于 2020-8-9 08:57:35

1. previous_sibling 属性返回选定节点的上一个同级节点

2. depth 是一个字符串

Twilight6 发表于 2020-8-9 09:05:46


depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text这一句的.previous_sibling.previous_sibling是干什么的?

previous_sibling 是获取该节点的上一个兄弟节点,可以看看这里的文档,第五点遍历文档树目录,蛮详细说明这些用法:https://www.cnblogs.com/scios/p/8652760.html


这个depth为什么可以转成整形?

这里获取的是页码, depth 返回的是一个整型字符串,所以可以 int 转为整数

月魔同学 发表于 2020-8-9 09:20:23

可不可用具体说明一下,第一次的 .previous_sibling和第二次的. previous_sibling都是什么?
因为按我的理解第一次应该是10,第二次10的上一个兄弟节点就是9了,但是这很明显不对
<div class="paginator">
      <span class="prev">
            &lt;前页
      </span>
      
      

                <span class="thispage">1</span>
               
            <a href="?start=25&amp;filter=">2</a>
      
               
            <a href="?start=50&amp;filter=">3</a>
      
               
            <a href="?start=75&amp;filter=">4</a>
      
               
            <a href="?start=100&amp;filter=">5</a>
      
               
            <a href="?start=125&amp;filter=">6</a>
      
               
            <a href="?start=150&amp;filter=">7</a>
      
               
            <a href="?start=175&amp;filter=">8</a>
      
               
            <a href="?start=200&amp;filter=">9</a>
      
               
            <a href="?start=225&amp;filter=">10</a>
      
      <span class="next">
            <link href="?start=25&amp;filter=" rel="next">
            <a href="?start=25&amp;filter=">后页&gt;</a>
      </span>

            <span class="count">(共250条)</span>
      </div>

月魔同学 发表于 2020-8-9 09:26:29

月魔同学 发表于 2020-8-9 09:20
可不可用具体说明一下,第一次的 .previous_sibling和第二次的. previous_sibling都是什么?
因为按我的理 ...

如果第一次返回的是第四行的span这个节点,那么上一兄弟节点不就是第二行的那个了吗
页: [1]
查看完整版本: 极客Python之效率革命:爬取豆瓣 TOP250 电影排行榜