股吧爬虫

cyy0225 · 发表于 2018-5-3 22:13:42

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

我在爬取个股的所有评论，请问大神，如何判断是否读到了最后一页？

response.text 返回的文本没有这一段，可能是目录层级太多？只到了这一层<span class="pagernums" data-pager="list,601318_|151128|80|1">，后面包含总页数的内容没有返回。该怎么解决？

第四时空 · 发表于 2018-5-3 22:42:15

不是很清楚没有返回啥意思。判断是不是最后一页粗略看下应该可以通过获取.pagernums .on的text值和.sumpage的text值对比。等于即当前为最后一页。

cyy0225 · 发表于 2018-5-3 23:17:53

第四时空发表于 2018-5-3 22:42
不是很清楚没有返回啥意思。判断是不是最后一页粗略看下应该可以通过获取.pagernums .on的text值和.sumpage ...

就是 response.text中只到 span class = "pagernums" data-pager="list这里，即图第二行，再下级的内容是没有中。没有sumpage这些内容

cyy0225 · 发表于 2018-5-3 23:18:40

第四时空发表于 2018-5-3 22:42
不是很清楚没有返回啥意思。判断是不是最后一页粗略看下应该可以通过获取.pagernums .on的text值和.sumpage ...

爬虫这里刚刚学起，麻烦了

账号		自动登录	找回密码
密码			立即注册