[已解决]爬取数据没有尾页或最后一页，如果判断总页数？

jjxx2005

例如网址：https://www.qiushibaike.com/video/

我练习爬取所有视频，但是翻页时发现没有尾页，我无法确定总页数 ，当然一共13页
我可以用
for i in range(1,14）遍历出1-13这些数字 拼成相应的网址

但是请教各位前辈，除了这种笨方法 有没有更高级一些并且简单易懂的方法和思路？

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-7-17 15:15:14

从网页上来看，<span class="page-numbers">13</span> 就是尾页，你获取其中的13即可。

from lxml import etree

pn = html.xpath('//span[@class="page-numbers"]/text()')

跳转到最佳答案楼层

suchocolate

从网页上来看，<span class="page-numbers">13</span> 就是尾页，你获取其中的13即可。

from lxml import etree

pn = html.xpath('//span[@class="page-numbers"]/text()')