熊猫竹子 发表于 2022-12-19 16:54:31

如何用playwright判断猎聘网搜索页已经到尾页

背景：我用playwright爬取猎聘网的招聘信息
1.尝试用过 "if page2.get_by_role("button", name="right").is_enabled():","if page2.get_by_role("button", name="right").is_visabled():"来判断页面是否到了尾页，但是程序跑起来的时候到最后一页的时候会反复爬取最后一页；
2.也想过采取比较尾页和首页的招聘信息数量来判断，但是这种方法忽略了尾页和首页的信息数量一致的情况。

有没有其他比较好的方法？

suchocolate 发表于 2022-12-19 22:59:40

页面发下

cflying 发表于 2022-12-20 22:48:43

写一个while，然后每次页面爬完后搜索title为Next Page的li，然后读取aria-disabled属性如果为true的话就break while就行
页: [1]
查看完整版本: 如何用playwright判断猎聘网搜索页已经到尾页