鱼C论坛

 找回密码
 立即注册
查看: 2400|回复: 4

请教下有什么方法爬取preview数据?

[复制链接]
发表于 2023-3-31 23:15:33 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
20230331231248.png

请教下有什么方法爬取preview数据?
看网页源码没有对应数据的,只有这preview有数据。


想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2023-3-31 23:23:29 | 显示全部楼层
preview的数据一样可以通过 .text 获取到呀
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2023-4-1 02:13:30 | 显示全部楼层
dic = requests.get(url=url, headers=headers).json()
api = dic['api']
data = dic['api']['data']
如果没记错应该是这样获取的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2023-4-1 07:22:14 | 显示全部楼层
确实,网页源代码会和开发工具里的有差异(动态渲染)
可以用selenium库:
from selenium import webdriver
from time import sleep
option = webdriver.ChromeOptions()
chrome = webdriver.Chrome(options=option)
chrome.get(url)
sleep(1)  # 等待加载。你可以自行调整(单位为秒)
print(chrome.page_source)
chrome.close()
注意,需要安装 Chromedriver。配置指南 selenium指南 例子
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2023-4-4 12:28:49 | 显示全部楼层
怎么取chrome数据,构造post请求?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-14 21:02

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表