[已解决]请问这种网站数据应该怎么抓取？

wiselin · 发表于 2021-12-8 11:38:59

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

目标：https://gzclass.gztv.com/gksubjecpc/index.html
年级、课例那些通过爬虫都爬不出来

最佳答案

月排行榜 / 总排行榜

Stubborn

2021-12-8 12:31:28

wiselin 发表于 2021-12-8 12:28
对，就是这些基本信息，请问这2个url是怎么提取出来的？

爬虫第一部
确认所需要的信息是否存在网页源码里面，明显你这个没有在。那么肯定是通过其他方式加载的
抓包,多练

跳转到最佳答案楼层

Stubborn · 发表于 2021-12-8 11:53:06

本帖最后由 Stubborn 于 2021-12-8 12:19 编辑

赤裸裸的数据在哪里呀，视频吗？

URL1 = https://gzclass.gztv.com/hcEdu/pc/getGradeData?topColumnId=1029


URL2 = https://gzclass.gztv.com/hcEdu/pc/getLessons?courseId=3a616f2f5345ac43c9f0a303a0792528

wiselin · 发表于 2021-12-8 12:28:13

Stubborn 发表于 2021-12-8 11:53
赤裸裸的数据在哪里呀，视频吗？

对，就是这些基本信息，请问这2个url是怎么提取出来的？

Stubborn · 发表于 2021-12-8 12:31:28

这个最佳答案由 Stubborn 给出，感谢 Stubborn 的回答。

单击隐藏图章

wiselin 发表于 2021-12-8 12:28
对，就是这些基本信息，请问这2个url是怎么提取出来的？

爬虫第一部
确认所需要的信息是否存在网页源码里面，明显你这个没有在。那么肯定是通过其他方式加载的
抓包,多练

wiselin · 发表于 2021-12-8 12:37:13

Stubborn 发表于 2021-12-8 12:31
爬虫第一部
确认所需要的信息是否存在网页源码里面，明显你这个没有在。那么肯定是通过其他方式加载的 ...

搞懂了，我实在太小白了

Stubborn · 发表于 2021-12-8 12:43:47

wiselin 发表于 2021-12-8 12:37
搞懂了，我实在太小白了

难搞的是参数加密，要去抠js代码，搞人心态的验证码，慢慢都会遇到的

账号		自动登录	找回密码
密码			立即注册