鱼C论坛

 找回密码
 立即注册
查看: 2880|回复: 4

请教下有什么方法爬取preview数据?

[复制链接]
发表于 2023-3-31 23:15:33 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
20230331231248.png

请教下有什么方法爬取preview数据?
看网页源码没有对应数据的,只有这preview有数据。


小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2023-3-31 23:23:29 | 显示全部楼层
preview的数据一样可以通过 .text 获取到呀
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2023-4-1 02:13:30 | 显示全部楼层
dic = requests.get(url=url, headers=headers).json()
api = dic['api']
data = dic['api']['data']
如果没记错应该是这样获取的
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2023-4-1 07:22:14 | 显示全部楼层
确实,网页源代码会和开发工具里的有差异(动态渲染)
可以用selenium库:
  1. from selenium import webdriver
  2. from time import sleep
  3. option = webdriver.ChromeOptions()
  4. chrome = webdriver.Chrome(options=option)
  5. chrome.get(url)
  6. sleep(1)  # 等待加载。你可以自行调整(单位为秒)
  7. print(chrome.page_source)
  8. chrome.close()
复制代码

注意,需要安装 Chromedriver。配置指南 selenium指南 例子
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2023-4-4 12:28:49 | 显示全部楼层
怎么取chrome数据,构造post请求?
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-4-25 16:53

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表