关于Python爬虫的问题

2959643617 · 发表于 2021-4-1 21:21:56

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

有大佬知道这种翻页url不变的网页，用爬虫怎么翻页吗？https://www.shanghairanking.cn/rankings/bcur/2020

wp231957 · 发表于 2021-4-2 06:58:01

ajax搜一下

bool想学C · 发表于 2021-4-2 10:38:37

一起学习，期待大佬回复

591821661 · 发表于 2021-4-2 13:47:03

好像都在这个里面。。。
https://www.shanghairanking.cn/_ ... cur/2020/payload.js

suchocolate · 发表于 2021-5-9 14:25:43

这个网址加载页面时从这个js里获得查询api：https://www.shanghairanking.cn/_nuxt/968db26.js
你查询的数据的api通过观察浏览器f12网络看到api是https://www.shanghairanking.cn/a ... pe=11&year=2020：

import requests


def main():
    url = 'https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2020'
    headers = {'user-agent': 'firefox'}
    r = requests.get(url, headers=headers)
    print(r.json())


if __name__ == '__main__':
    main()

账号		自动登录	找回密码
密码			立即注册