wiselin 发表于 2021-12-8 11:26:03

爬虫读不出数据问题

目标网站：https://gzclass.gztv.com/gksubjecpc/index.html
请问为什么通过普通爬取或通过splash渲染，都取不到单元和课程的信息，遇到这种网站该怎么爬呢？

wp231957 发表于 2021-12-10 10:50:41

import requests,json
url="https://gzclass.gztv.com/hcEdu/pc/getGradeData?topColumnId=1029"
headers={
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36",
}

data=requests.get(url,headers=headers)
data=json.loads(data.text)
print(data["data"])

Brucey 发表于 2021-12-10 11:46:45

前端代码只是框架，需要ajax数据请求，
页: [1]
查看完整版本: 爬虫读不出数据问题