2959643617 发表于 2021-4-1 21:21:56

关于Python爬虫的问题

有大佬知道这种翻页url不变的网页，用爬虫怎么翻页吗？https://www.shanghairanking.cn/rankings/bcur/2020

wp231957 发表于 2021-4-2 06:58:01

ajax搜一下

bool想学C 发表于 2021-4-2 10:38:37

一起学习，期待大佬回复

591821661 发表于 2021-4-2 13:47:03

好像都在这个里面。。。
https://www.shanghairanking.cn/_nuxt/static/1616049095/rankings/bcur/2020/payload.js

suchocolate 发表于 2021-5-9 14:25:43

这个网址加载页面时从这个js里获得查询api：https://www.shanghairanking.cn/_nuxt/968db26.js
你查询的数据的api通过观察浏览器f12网络看到api是https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2020：
import requests


def main():
    url = 'https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2020'
    headers = {'user-agent': 'firefox'}
    r = requests.get(url, headers=headers)
    print(r.json())


if __name__ == '__main__':
    main()
页: [1]
查看完整版本: 关于Python爬虫的问题