[已解决]python爬取包含ajax的网页

CH10

不知道各位老哥在爬虫的时候有没有遇到这样一个问题
在网页里面有一部分内容是通过javascript发起ajax请求获取的,然后在通过js把请求到的内容以列表的形式展示出来
在爬取这样的网页的时候，我使用res=requests.get(url)进行爬取
content = res.content.decode('utf-8')，这里content获取的内容，有包含ajax请求的js代码，但这样爬取网页的js没有执行，就不能爬取到js执行之后最终的网页
所以我想请教各位老哥怎么爬取网页的时候执行网页内的js，爬取最终获取到数据的网页，最好老哥们能自己弄个例子代码啥的给小弟参考

最佳答案

月排行榜 / 总排行榜

lhgzbxhz

2020-9-14 17:59:37

1、找出json网址的规律，然后手动发一个请求
2、selenum模拟浏览器

跳转到最佳答案楼层

kogawananari

f12 录制network 找api

疾风怪盗

你可以给个网址看看

基本上这三种可以解决大部分问题吧
1、静态网页；2、找到json数据网址；3、Selenium

jackcoden

围观学习

CH10

疾风怪盗 发表于 2020-9-14 17:03
你可以给个网址看看

基本上这三种可以解决大部分问题吧

http://data.eastmoney.com/
content = res.content.decode('utf-8')要改为gbk，大佬怎么爬ajax部分的数据

lhgzbxhz

1、找出json网址的规律，然后手动发一个请求
2、selenum模拟浏览器

挥舞乾坤

最好发个网址出来，大家探讨探讨