大家好,我是木川
继 OpenAI 推出文生文的模型 GPT、文生图的模型 DALL-E 之后,OpenAI 发布了文生视频模型 Sora ,可以生成长达分钟级别的高质量视频。
从官方示例上看,生成的视频效果确实惊艳。Sora 可以生成宽屏 1920x1080 视频、垂直 1080x1920 视频以及介于两者之间的所有视频。
Sora 技术报告:https://openai.com/research/video-generation-models-as-world-simulators
Sora 的主要特点如下:
60s 超长长度
在一众 AI 视频,还挣扎在4s连贯性的边缘,OpenAI 直接说:劳资支持 60s,都 TM 跪下。
Runway 是 18s,Pika 最开始是 3 秒,Sora 抬手就是 60s,见面就贴脸放大招
图片
单视频多角度镜头
想象一下,以前的电影或视频制作就像是用一个相机拍摄一整个故事,你只能看到一个角度。
木川AI编程
但是现在,就像是有一堆不同的相机,可以从不同的角度来拍摄同一个场景。
而且厉害的地方在于,主角或物体在不同的角度切换时,看起来还是一样的,不会感觉怪怪的。
,时长00:59
Sora 就好像是一个超级聪明的导演,只需要给他一个简短的提示,他就能在一分钟内制作出一个有很多不同角度的视频,而且每个角度看起来都很自然。
这对于以前来说简直是不可思议的,就好像魔法一样!
世界模型
“先记忆,再预测” 这种理解世界的方式,是人类理解世界的方式。这种方式有个名字,叫世界模型。
最最最可怕的一点来了,Sora身上,竟已经有了世界模型的雏形?
通过观察大量数据,它竟然学会了许多关于世界的物理规律。
世界模型就像是你的大脑里有一张地图,上面标着你家、学校、公园等地方。这张地图帮助你知道周围的环境,让你知道该去哪里,怎么走。
对于电脑或机器来说,它们也可以有一种类似的东西,叫做世界模型。这就是它们对周围世界的一种想象和理解方式,让它们能够知道周围有什么东西,发生了什么事情。这有助于它们更聪明地处理任务,就像你用地图找到正确的路一样。
举个例子:当你拿起一杯咖啡时,大脑先通过以前的经验和记忆知道咖啡杯的典型重量。这个经验就是世界模型的一部分。你的大脑会根据这个模型,预测需要用多大的力去抓住杯子。这种预测是在潜意识中进行的,你不需要刻意去思考。
OpenAI 最终想做的,其实不是一个“文生视频”的工具,而是一个通用的“物理世界模拟器”。也就是世界模型,为真实世界建模。