当前位置：首页 > news >正文

OpenAI 发布文生视频大模型 Sora，AI 视频要变天了，视频创作重新洗牌！AGI 还远吗？

news 文章来源：https://blog.csdn.net/u011886447/article/details/136133649 2024/9/20 1:36:04

一、一觉醒来，AI 视频已变天

早上一觉醒来，群里和朋友圈又被刷屏了。

今年开年 AI 界最大的震撼事件：OpenAI 发布了他们的文生视频大模型 Sora。

OpenAI 文生视频大模型 Sora 的横空出世，预示着 AI 视频要变天了，视频创作领域要重新洗牌！

啥都不说，先来感受一番：

OpenAI Sora 生成视频

再来看看其他由 Sora 生成的视频：

OpenAI Sora 示例视频 big-sur

你还能辨得出真假吗？

OpenAI Sora 示例视频 Kangroo

更多视频效果，大家可以去 OpenAI 的官网浏览。

传送门：https://openai.com/sora

看了 OpenAI 官网 Sora 做出的视频效果，说 Sora 目前是 「AI 视频领域的地表最强」，应该没有人反对吧。

二、OpenAI Sora 有哪些技术突破

一）视频时长的突破

之前更新了一个 AI 视频工具的系列专栏，有的小伙伴私信找我说，为什么推荐的这些 AI 视频工具，都只能生成几秒的视频呀。

确实，在 OpenAI 的 Sora 横空出世之前，AI 视频工具还没有突破视频时长的限制。基本都只能生成几秒的视频。

如果想通过 AI 视频工具生成视频，来做自媒体或其他用途，需要多次生成，再用一些剪辑、特效工具加工后，才能出片。

而 Sora 的出现，突破了 AI 视频领域的这一限制，可以直接生成长达一分钟的视频。

提到时长，瞬间觉得 Pika、Runway 等 AI 视频工具不香了。

二）世界模型

除了视频时长有突破外，Sora 模型不仅了解用户在提示词中要求的内容，还了解这些东西「在物理世界中的存在方式」。

之前听过卡兹克大佬一个关于 AI 视频的分享，在分享中，也提到了「物理规律」这个概念。

比如一拳抡到一个怪物的头上，它是有一个物体的交互的，整个视频的呈现，都是要符合物理世界的规律。

但在 Sora 之前的 AI 视频工具中，这块并没有突破。

而这块如果没有突破，AI 生成的视频，是很难应用到影视或者工业这块的。

但 Sora 的出现，让我们看到了可能性。

比如官网上的这个示例视频，枕头和被子的凹陷，都呈现得非常真实。

OpenAI Sora 官方示例视频 cat-on-bed

Prompt: A cat waking up its sleeping owner demanding breakfast. The owner tries to ignore the cat, but the cat tries new tactics and finally the owner pulls out a secret stash of treats from under the pillow to hold the cat off a little longer.

提示词：一只猫叫醒熟睡的主人要求吃早餐。主人试图无视猫，但猫尝试了新的策略，最后主人从枕头下掏出一个秘密的零食藏匿处，让猫多呆一会儿。

三）单视频多角度镜头

另外，Sora 还可以在单个生成的视频中创建多个角度的镜头，且「一致性」和「稳定性」强得惊人。

这在之前的 AI 视频工具中，是远远达不到的。

可以看官网的视频示例。

三、OpenAI Sora 目前有哪些缺陷

虽然 OpenAI 的 Sora 已经在技术上有了很大突破，但依然存在一些缺陷。

比如，它可能难以准确地模拟复杂场景的物理现象，也可能无法理解因果关系的具体实例。

官方也举了一个例子。

比如，一个人可能咬了一口饼干，但是之后，饼干上可能没有咬痕。

除此之外，该模型还可能混淆提示的空间细节。

例如，左右混淆，并且可能难以精确描述随时间推移发生的事件，比如遵循特定的相机轨迹。

四、OpenAI Sora 技术实现

Sora 是一种扩散模型，它从看起来像静态噪声的视频开始生成视频，然后通过多个步骤消除噪声来逐渐转换视频。

Sora 能够一次生成整个视频或扩展生成的视频以使其更长。通过让模型一次看到许多帧，解决了一个具有挑战性的问题，即确保一个主题即使暂时离开视野也能保持不变。

与 GPT 模型类似，Sora 使用 transformer 架构，释放出卓越的扩展性能。

将视频和图像表示为称为补丁的较小数据单元的集合，每个补丁都类似于 GPT 中的一个 token。通过统一我们表示数据的方式，我们可以在比以前更广泛的视觉数据上训练扩散变压器，跨越不同的持续时间、分辨率和纵横比。

Sora建立在 DALL·E 和 GPT 模型上。它使用了 DALL·E 3，涉及为视觉训练数据生成高度描述性的标题。因此，该模型能够更忠实地遵循生成视频中用户的文本说明。

除了能够仅根据文本说明生成视频外，Sora 模型还能够获取现有的静止图像并从中生成视频，从而准确无误地对图像内容进行动画处理，并注重小细节。

该模型还可以拍摄现有视频并对其进行扩展或填充缺失的帧。

更多技术细节，请参考：

https://openai.com/research/video-generation-models-as-world-simulators

一觉醒来，Sora 已颠覆 AI 视频领域，视频、影视、广告等行业将重新洗牌，AGI 还远吗？