苹果最新开源模型「Sharp」一张图2秒生成3D场景|普卡100FPS实时3D,小团队狂喜
苹果最新开源的Sharp单图3D合成技术,把从一张照片生成可交互3D场景的成本降到了秒级。
在线学习:
https://www.bilibili.com/video/BV1Y3qJBTEdd
Sharp是一种基于神经网络的前向推理方法,它接收单张RGB图片并回归出该场景的3D高斯体表示,在标准GPU上不到一秒就能完成生成,然后可实时渲染出高分辨率真实视角图像。
这个3D高斯表示具备真实尺度,可以支持真实物理距离的相机移动,实现观者从不同角度浏览场景的视角变化。
Sharp在处理多个标准数据集时证明了其强大的零样本泛化能力,生成效果在感知指标上全面超越当前最优方案,同时合成时间比传统方法缩短约三个数量级。
相比以往依赖多图像输入或昂贵优化过程的3D生成方法,Sharp不仅生成速度极快,而且生成的场景细节锐利、结构准确,能够直接用于动态视图的实时渲染。
这项技术把3D场景从“离线、复杂、慢”推进到了“即时、高质、灵活”,在质量和性能之间达成了明显突破。
Sharp在多个公开评测任务上LPIPS指标相较此前最优模型降低了约25%至34%,同时DISTS等其它感知质量指标也有显著改善。
生成出的场景数据可以以每秒超过100帧的速度渲染,让交互式应用具备流畅的实时表现。
得益于Sharp的高效架构和实时渲染能力,它为拍照转3D场景、短视频高清环绕视角、实时增强现实预览等应用打开了新可能。
未来用户只需普通显卡即可直接将一张静态照片转为可导航的3D空间体验,这将极大简化内容创作流程,推动社交媒体、游戏、AR软件等领域的发展。
随着这类技术成熟,拍照生成3D场景将不再是专业建模师的专利,而成为创作者和普通用户都能随手实现的基础能力。
苹果最新开源的Sharp单图3D合成技术,把从一张照片生成可交互3D场景的成本降到了秒级。
Sharp是一种基于神经网络的前向推理方法,它接收单张RGB图片并回归出该场景的3D高斯体表示,在标准GPU上不到一秒就能完成生成,然后可实时渲染出高分辨率真实视角图像。
评论区聊聊你的想法吧{:10_330:}
https://xxx.ilovefishc.com/forum/202505/12/120451wiv7viv5iebupbbr.png
>>万能兑换C币许愿池<<
如果有收获,别忘了评分{:10_281:} :
https://xxx.ilovefishc.com/forum/202011/20/092334ggd6inlzfisfrdir.png.thumb.jpg
https://xxx.ilovefishc.com/forum/202505/21/111710rvxgdn90vaub5gag.gif 感谢分享 朕又在鱼C学到东最新开源技术啦!非常满意{:10_275:} 感谢分享 朕又在鱼C学到东最新开源技术啦!非常满意{:10_275:} 感谢分享 朕又在鱼C学到东最新开源技术啦!非常满意{:10_275:} 感谢分享 朕又在鱼C学到东最新开源技术啦!非常满意{:10_275:} 感谢分享 朕又在鱼C学到东最新开源技术啦!非常满意{:10_275:} 感谢分享 朕又在鱼C学到东最新开源技术啦!非常满意{:10_275:}
页:
[1]