[已解决]爬虫时，遇到翻页怎么处理？

xxpythonxx · 发表于 2017-3-28 08:37:04

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

爬虫时，遇到翻页怎么处理？

最佳答案

月排行榜 / 总排行榜

gopythoner

2017-3-28 09:24:19

xxpythonxx 发表于 2017-3-28 08:55
页码的代码的是这样，网址不管怎么翻页都不变。

一般翻页有2个种方法：
1、通过第一次请求的返回信息找到总共的页码数（如果没有总共的页码数，那就找到总共的信息数，然后用这个总信息数除以每页展示的信息数，就能得到总页码数了，这2个信息绝对能找到其中之一的，有了页码数，就直接使用一个for循环就行
2、通过找到“下一页”的链接，直接实现翻页，也就是你这个列子的方式，但是你找到的这个好像并不是“下一页”吧，为什么看不到这3个字？如果你确定你找的没错，实在找不到下一页的链接或者下一页的页码数字，那就通过第一种方式来吧

跳转到最佳答案楼层

ooxx7788 · 发表于 2017-3-28 08:41:12

请求页码链接！

xxpythonxx · 发表于 2017-3-28 08:55:53

ooxx7788 发表于 2017-3-28 08:41
请求页码链接！

页码的代码的是这样，网址不管怎么翻页都不变。

gopythoner · 发表于 2017-3-28 09:24:19

这个最佳答案由 gopythoner 给出，感谢 gopythoner 的回答。

单击隐藏图章

xxpythonxx 发表于 2017-3-28 08:55
页码的代码的是这样，网址不管怎么翻页都不变。

一般翻页有2个种方法：
1、通过第一次请求的返回信息找到总共的页码数（如果没有总共的页码数，那就找到总共的信息数，然后用这个总信息数除以每页展示的信息数，就能得到总页码数了，这2个信息绝对能找到其中之一的，有了页码数，就直接使用一个for循环就行
2、通过找到“下一页”的链接，直接实现翻页，也就是你这个列子的方式，但是你找到的这个好像并不是“下一页”吧，为什么看不到这3个字？如果你确定你找的没错，实在找不到下一页的链接或者下一页的页码数字，那就通过第一种方式来吧

膜法记者 · 发表于 2017-3-28 09:57:19

提交表单？

账号		自动登录	找回密码
密码			立即注册

[已解决]爬虫时，遇到翻页怎么处理？

马上注册，结交更多好友，享用更多功能^_^

浏览过的版块