jjxx2005 发表于 2020-7-17 11:21:44

爬取数据没有尾页或最后一页，如果判断总页数？

例如网址：https://www.qiushibaike.com/video/

我练习爬取所有视频，但是翻页时发现没有尾页，我无法确定总页数 ，当然一共13页
我可以用
for i in range(1,14）遍历出1-13这些数字 拼成相应的网址

但是请教各位前辈，除了这种笨方法 有没有更高级一些并且简单易懂的方法和思路？

suchocolate 发表于 2020-7-17 15:15:14

从网页上来看，<span class="page-numbers">13</span> 就是尾页，你获取其中的13即可。
from lxml import etree

pn = html.xpath('//span[@class="page-numbers"]/text()')
页: [1]
查看完整版本: 爬取数据没有尾页或最后一页，如果判断总页数？