[已解决]关于爬取微博的爬虫

tiger吴 · 发表于 2020-7-30 19:11:11

您需要登录才可以下载或查看，没有账号？立即注册

x

我要爬取某微博的所有内容：url='https://m.weibo.cn/u/2830678474'
需要的数据通过Ajax请求得到，如图，得到数据的网址只有图右下角since_id改变得到的，
这种分页方式规律是什么？代码里我要怎么写来表达这个since_id的值尼？

最佳答案

1q23w31

2020-7-30 21:56:07

找到了，每一次查询的since_id都是通过上一次查询来得到的，具体看图、

登录/注册后可看大图

第一次请求的since_id
2020-7-30 21-50-37.png

登录/注册后可看大图

第一次请求返回的数据里面有下一次请求的since_id
2020-7-30 21-51-35.png

登录/注册后可看大图

下一次请求的since_id
2020-7-30 21-51-59.png

suchocolate · 发表于 2020-7-30 21:06:35

since_id从前一个页面的html里获得

1q23w31 · 发表于 2020-7-30 21:56:07

找到了，每一次查询的since_id都是通过上一次查询来得到的，具体看图、

登录/注册后可看大图

第一次请求的since_id
2020-7-30 21-50-37.png

登录/注册后可看大图

第一次请求返回的数据里面有下一次请求的since_id
2020-7-30 21-51-35.png

登录/注册后可看大图

下一次请求的since_id
2020-7-30 21-51-59.png

tiger吴 · 发表于 2020-7-30 22:13:54

1q23w31 发表于 2020-7-30 21:56
找到了，每一次查询的since_id都是通过上一次查询来得到的，具体看图、

找到了，感谢感谢

账号		自动登录	找回密码
密码			立即注册