谷歌版Sora升级4K高清!一句话控制镜头运动,跑分叫板可灵海螺

人工智能 新闻
除了显而易见的清晰度的提升——最高可达4K分辨率,它能够忠实地遵循简单和复杂的指令Prompt,并令人信服地模拟现实世界的物理以及各种视觉风格。

OpenAI直播划水的一天,谷歌版Sora迎来了它的2.0——

Veo 2,根据文本或图像生成更为高质量的视频。

从官方介绍中看,此次主要有三个方面的升级。

比如分辨率能达到4K。

能够理解有关镜头控制的Prompt。

更注重现实物理世界与人类表情的理解和展示。

在官方账号底下,大家都对这些效果表示了惊叹:

我真的想谷歌输掉比赛,但是谷歌没有输。

图片

另外,图像生成模型Imagen 3也有进一步的改进。

图片

谷歌版Sora2.0:重新定义质量和控制

质量和控制,是此次视频模型升级的关键词。

除了显而易见的清晰度的提升——最高可达4K分辨率,它能够忠实地遵循简单和复杂的指令Prompt,并令人信服地模拟现实世界的物理以及各种视觉风格。

具体体现在它的真实感和保真度上,比如细节、伪影减少等方面都有显著改进。

还有高级的运动功能,基于对物理学的理解,能够更高精度的表示运动。

还能准确地遵循各种镜头控制类的Prompt,比如拍摄风格、角度、动作以及所有这些的组合。

那么接下来直观地感受一下效果。

Prompt:特写镜头聚焦于一位女 DJ 的脸部,她美丽、浓密的黑色卷发勾勒出她的五官,她完全沉浸在音乐中。她闭上双眼,沉浸在节奏中,嘴角挂着一丝微笑。当她随着节拍点头和摇摆时,相机捕捉到了她头部的细微动作,她的身体本能地随着耳机中传出的音乐而做出反应,传到人群中。浅景深使背景变得模糊。她被鲜艳的霓虹色包围着。特写镜头强调了她迷人的气质以及音乐传递和超越的力量。

还有是这种集体的蜂群也能刻画出来。

Prompt:镜头轻轻飘过一排排粉刷过的木制蜂箱,嗡嗡作响的蜜蜂在画面中进进出出。镜头落在站在画面中央的优雅农民身上,他洁白的养蜂服在金色的午后阳光下闪闪发光。他举起一罐蜂蜜,稍微倾斜以捕捉光线。在他身后,高大的向日葵在微风中有节奏地摇曳,花瓣在温暖的阳光下闪闪发光。镜头向上倾斜,露出一座复古的农舍,百叶窗是薄荷绿色的,摇曳的树木在墙上投下斑驳的阴影。用 35 毫米镜头在柯达 Portra 400 胶片上拍摄,金色的光线在农民的手套、果酱罐和蜂箱的风化木材上形成了丰富的纹理。

还可以切换镜头,从近景到远景,而在镜头之下,不管是蜂蜜还是咖啡的泡沫细节都有精确地刻画。

Prompt:太阳在一盘摆放整齐的早餐场景后缓缓升起。浓稠的金色枫糖浆以慢动作倒在松软的煎饼上,每一块煎饼都散发出柔软温暖的蒸汽云。特写镜头中,脆培根发出嘶嘶声,金色油脂的细小余烬在空中飞舞。咖啡以顺滑的旋转动作倒入水晶般透明的杯子中,杯子里充满了深棕色的咖啡油层。场景结束时,相机俯冲到新鲜切好的橙子上,以令人惊叹的微距细节展示出它明亮多汁的果肉。

那么在根据人类对其性能的评估中,Veo 2 的表现优于其他领先的视频生成模型

在Meta基准数据集 MovieGenBench上,人类参与者观看了1003个提示和响应的视频。

结果显示,跟市面上的主流视频生成模型相比,Veo2.0在整体偏好、Prompt指令准确遵循方面都表现最佳。

值得一提的是,这里除了Sora,国产模型可灵、MiniMax都上桌了。

图片

所有的比较都在720P分辨率下进行,Veo 采样时长为 8 秒,VideoGen 采样时长为 10 秒,其他型号采样时长为 5 秒。我们向评分者展示完整视频时长。

图片

最后,他们表示,创建逼真、动态或复杂的视频,并在复杂场景或复杂运动的场景中保持完全一致性仍然是一项挑战。他们将继续开发和改进这些领域的性能。

图像模型Imagen 3也增强了

除此之外,还增强了他们的图像生成模型Imagen 3。

可以生成更多样化的艺术风格,如现实主义、梦幻、肖像画等等。

图片
图片

生成的图像会更忠实于Prompt,哪怕这个Prompt有多么地离谱。(Doge)

图片

而从各种生成的图像来看,视觉效果也比之前更明亮,构图也更加平衡。

图片

好了,感兴趣的朋友可戳下方链接了解更多详情。

责任编辑:张燕妮 来源: 量子位
相关推荐

2023-09-05 23:34:52

Kubernetes云原生

2015-08-03 10:21:04

设计模式表达

2020-11-27 09:57:11

Python代码PyPy

2023-11-03 11:03:10

AIGen-2

2023-09-06 15:23:30

Docker容器K8S

2024-02-08 09:33:37

苹果AI

2010-03-29 11:55:12

无线上网报错

2023-05-08 15:44:23

3D数字人

2019-03-27 09:31:36

互联网面试技术

2014-05-07 10:47:51

移动金融互联网金融GMIC

2018-01-15 10:45:43

社交网络互联网巨头百度

2020-12-16 10:43:44

PythonPyPy代码

2019-08-15 11:42:56

程序员电脑软件

2014-12-16 08:58:17

甲骨文Oracle数据库选件

2023-12-13 21:50:59

腾讯AI模型

2023-02-10 15:45:05

ChatGPTAIGPT-3

2023-05-12 14:13:23

3D建模OpenAI

2011-06-03 16:42:47

SEO

2024-11-11 11:34:26

2011-11-01 07:23:59

乔布斯悼文
点赞
收藏

51CTO技术栈公众号