如何爬第二页的数据？

noneboy · 发表于 2019-5-14 16:05:40

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 noneboy 于 2019-5-14 16:13 编辑

我在爬取新闻时，新闻有10页。我会爬取第一页数据，怎么才可以自动爬取第二页到第十页的数据呢？页数我不知道怎么搞定。谢谢了
网上看到有这么一句：
# 获取总页数
page = int(soup.select('.pagenavi span')[-2].text)

网址是：http://www.mzitu.com

我读不懂这句话。
请帮忙，谢谢。

wp231957 · 发表于 2019-5-14 16:08:14

个个网站肯定是不一样的，不存在通用代码的
所以你是要把网址发出来的

noneboy · 发表于 2019-5-14 16:12:02

wp231957 发表于 2019-5-14 16:08
个个网站肯定是不一样的，不存在通用代码的
所以你是要把网址发出来的

感谢提醒。网址是：
http://www.mzitu.com

wp231957 · 发表于 2019-5-14 17:34:55

noneboy 发表于 2019-5-14 16:12
感谢提醒。网址是：
http://www.mzitu.com

用鼠标滑一下，上面有显示，神马/2 /3 /4啥的

账号		自动登录	找回密码
密码			立即注册

如何爬第二页的数据？

马上注册，结交更多好友，享用更多功能^_^

浏览过的版块