|
|
马上注册，结交更多好友，享用更多功能^_^
您需要 登录 才可以下载或查看，没有账号？立即注册
x
在线学习：
最近大家都在讨论 Sora，即使不太关注的小伙伴也可能已经在各种社交媒体上略有耳闻了。
Sora 的资讯满天飞，但是却很少看到有人讲 Sora 背后的技术原理，以及它到底和其他公司开发的视频生成AI模型有什么区别？
那它和其他的视频生成AI模型，比如 Pika，Runway 有什么不同呢？
接下来，就让小师妹我来给大家深入浅出的讲一下 Sora 背后的核心技术，看看你能听懂多少。
首先，我们得了解一下大语言模型LLM。
它是把各种形式的文本，包括自然语言、程序代码和数字拆解成基本的文本构建块，叫 Token。
然后以 Token 作为基本单位来进行大规模文本数据的训练和生成。
那么相对应的，Sora 它是把不同形式的视频和图像拆解成一个一个小的图像块，英文里面叫 Visual Patch。
类似的，Sora 也是以 Visual Patch 图像块为基本单位来进行大规模视频数据的训练和生成。
那我们再来看一下 Sora 的独特之处。
在它之前的其他视频生成AI中，通常只关注某个特定类别的视频数据，或者局限在较短的视频上，或者局限在固定大小的视频上。
比如他们会将所有的视频都拆解成 256×256 分辨率的标准尺寸的 4 秒视频来进行处理。
所以这种方法局限性很大，不够灵活。
而相比之下，Sora 它是一个视觉数据的通用模型，它可以生成不同时长、不同长宽比尺寸和不同分辨率的视频和图像。
千万不要小看了这个支持不同时长、尺寸和分辨率的特点，因为正是这一种灵活性使得 OpenAI 能够将所有类型的视觉数据转化为统一的表达方法，从而使得他们能够用网络上海量的视频数据去大规模的训练 Sora。
最后，我想说的是，
Sora 所有的属性和能力都是在大规模训练中自然产生的，纯粹是规模效应的现象。
这也表明了，如果未来我们想要开发更强大的物理和数字世界的模拟器，那么继续扩大视频AI模型的训练规模看起来是最有效的途径之一啦~
好了，现在你了解 Sora 的技术原理还有存在的技术壁垒了吗？
欢迎大家留言讨论
|
|
( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)
狗仔卡
发表于 2024-3-4 18:52:50
置顶卡
千斤顶
显身卡
发表于 2024-3-5 08:07:43
发表于 2024-3-5 08:35:17
楼主
加油~我先预定个会员
