OpenAI 发布的视频生成模型 Sora,到底有什么魔法?

人工智能
继 OpenAI 推出文生文的模型 GPT、文生图的模型 DALL-E 之后,OpenAI 发布了文生视频模型 Sora ,可以生成长达分钟级别的高质量视频。

大家好,我是木川

继 OpenAI 推出文生文的模型 GPT、文生图的模型 DALL-E 之后,OpenAI 发布了文生视频模型 Sora ,可以生成长达分钟级别的高质量视频。

从官方示例上看,生成的视频效果确实惊艳。Sora 可以生成宽屏 1920x1080 视频、垂直 1080x1920 视频以及介于两者之间的所有视频。

Sora 技术报告:https://openai.com/research/video-generation-models-as-world-simulators

Sora 的主要特点如下:

60s 超长长度

在一众 AI 视频,还挣扎在4s连贯性的边缘,OpenAI 直接说:劳资支持 60s,都 TM 跪下。

Runway 是 18s,Pika 最开始是 3 秒,Sora 抬手就是 60s,见面就贴脸放大招

图片图片

单视频多角度镜头

想象一下,以前的电影或视频制作就像是用一个相机拍摄一整个故事,你只能看到一个角度。


木川AI编程

但是现在,就像是有一堆不同的相机,可以从不同的角度来拍摄同一个场景。

而且厉害的地方在于,主角或物体在不同的角度切换时,看起来还是一样的,不会感觉怪怪的。

,时长00:59

Sora 就好像是一个超级聪明的导演,只需要给他一个简短的提示,他就能在一分钟内制作出一个有很多不同角度的视频,而且每个角度看起来都很自然。

这对于以前来说简直是不可思议的,就好像魔法一样!

世界模型

“先记忆,再预测” 这种理解世界的方式,是人类理解世界的方式。这种方式有个名字,叫世界模型。

最最最可怕的一点来了,Sora身上,竟已经有了世界模型的雏形?

通过观察大量数据,它竟然学会了许多关于世界的物理规律。

世界模型就像是你的大脑里有一张地图,上面标着你家、学校、公园等地方。这张地图帮助你知道周围的环境,让你知道该去哪里,怎么走。

对于电脑或机器来说,它们也可以有一种类似的东西,叫做世界模型。这就是它们对周围世界的一种想象和理解方式,让它们能够知道周围有什么东西,发生了什么事情。这有助于它们更聪明地处理任务,就像你用地图找到正确的路一样。

举个例子:当你拿起一杯咖啡时,大脑先通过以前的经验和记忆知道咖啡杯的典型重量。这个经验就是世界模型的一部分。你的大脑会根据这个模型,预测需要用多大的力去抓住杯子。这种预测是在潜意识中进行的,你不需要刻意去思考。

OpenAI 最终想做的,其实不是一个“文生视频”的工具,而是一个通用的“物理世界模拟器”。也就是世界模型,为真实世界建模。

责任编辑:武晓燕 来源: 木川AI编程
相关推荐

2024-02-19 08:31:10

SoraAIOpenAI

2024-02-26 16:55:51

Sora人工智能

2024-04-07 14:56:22

技术应用

2024-02-19 00:05:00

视频AI

2024-02-19 08:56:00

AI模型

2024-03-19 10:59:45

OpenAI人工智能

2024-10-16 14:10:00

AI视频生成

2024-02-19 09:19:54

OpenAIAI模型人工智能

2024-11-08 14:10:00

模型视频生成

2024-02-19 00:26:34

2024-03-18 07:12:05

2024-03-12 12:16:54

AI模型

2024-10-15 09:48:56

2024-03-25 00:30:00

AI框架

2021-02-02 07:37:39

NextTickvueDOM

2024-09-24 15:51:02

2024-10-15 14:08:06

2018-06-26 14:29:44

LinuxUnix不同
点赞
收藏

51CTO技术栈公众号