字节憋大招,中国版Sora该有的样子! 原创
编辑 | 言征
出品 | 51CTO技术栈(微信号:blog51cto)
字节终于又跳动了一把!昨天,字节豆包大模型冷不防就公开了一个新品大招!
9月24日,深圳。字节对于大模型领域的雄心壮志再度升级,不等OpenAI的Sora发布,视频生成领域,字节要当No.1。
字节就是这样,总在看似寻常的更新会议上,放出惊艳的大招!
划重点:不负大家对于字节的期待,全新的豆包视频生成模型实在威力惊人,活动现场非常火爆!
图片
巡展开始,火山引擎总裁谭待宣布了豆包大模型家族的新成员——全新发布豆包·视频生成模型、以及豆包·音乐模型、豆包·同声传译模型、豆包通用模型pro 和文生图模型、语音合成模型等垂类模型大幅升级。这也宣告了字节在大模型领域,正式角逐AI视频生成赛道。
可以这样形容,即便是Sora、可灵,都要让出王座!
一、字节版Sora,重新定义中国视频大模型
此次全新发布的豆包视频生成模型有两款:PixelDance、Seaweed。活动现场展示的视频生成效果令人惊叹。无论是语义理解能力,多个主体运动的复杂交互画面,还是多镜头切换的内容一致性,豆包视频生成大模型均达到业界先进水平。火山引擎总裁谭待表示,“视频生成有很多难关亟待突破。豆包两款模型会持续演进,在解决关键问题上探索更多可能性,加速拓展AI视频的创作空间和应用落地。”
此前视频生成模型虽然逼真,但看多了就会发现不少鸡肋之处:只能完成简单指令、多主体交互容易变形、运镜延伸时一致性差等等。
这次字节的豆包视频生成模型一次打包全部搞定了这些难题,该模型不仅能够深度理解并响应复杂指令,驱动不同人物角色完成一系列精细的动作互动,更在细节处理上达到了极致,从人物样貌、服装的微妙变化到头饰的精准呈现,均能在不同运镜角度下保持高度一致,仿佛实拍般自然流畅。
除了手上的表有一些些闪动,人物比例、动作、肢体、光影等等,几乎毫无瑕疵。(来源:数字生命卡兹克)
有创作者在抢鲜体验豆包视频生成模型时发现,其生成的视频不仅能够遵循复杂指令,让不同人物完成多个动作指令的互动,人物样貌、服装细节甚至头饰在不同运镜下也保持一致,接近实拍效果。
Prompt:拿着镰刀的死神朝女人走近。特写女人的脸,她惊恐地尖叫。(来源:数字生命卡兹克)
巡展上火山引擎介绍,豆包视频生成模型基于 DiT 架构,通过高效的DiT融合计算单元,让视频在大动态与运镜中自由切换,拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。全新设计的扩散模型训练方法更是攻克了多镜头切换的一致性难题,在镜头切换时可同时保持主体、风格、氛围的一致性,这也是豆包视频生成模型独树一帜的技术创新。
经过剪映、即梦AI等业务场景打磨和持续迭代,豆包视频生成模型具备专业级光影布局和色彩调和,画面视觉极具美感和真实感。深度优化的Transformer结构,则大幅提升了豆包视频生成的泛化能力,支持3D动画、2D动画、国画、黑白、厚涂等多种风格,适配电影、电视、电脑、手机等各种设备的比例,不仅适用于电商营销、动画教育、城市文旅、微剧本等企业场景,也能为专业创作者和艺术家们提供创作辅助。
图片
Prompt:小猫和小熊猫开心地跳着,然后拥抱在一起。(来源:机器之心)小猫晃动着爪子,和小熊猫玩亲亲,细节层次丰富,光影随着主体运动而变化,大幅提升画面视觉审美。
目前,新款豆包视频生成模型正在即梦AI内测版小范围测试,未来将逐步开放给所有用户。
二、背后有哪些黑科技?
大家可能好奇,首次突破多主体互动难关,字节如何做到的?
首先,是豆包大模型能力的提升。“豆包视频生成”大模型凭借其卓越的语义理解能力、对复杂交互画面的精准捕捉以及多镜头切换下的内容一致性,成功跻身业界先进水平。
据悉,“豆包视频生成”模型依托字节跳动自主研发的DiT(Dynamic Integration Transformer)架构,通过高效的DiT融合计算单元,实现了视频在大动态场景与多样运镜之间的无缝切换。这一技术突破赋予了视频变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力,让视频创作更加自由灵动,满足了创作者对视觉表达的无限想象。
其次,为了进一步提升视频创作的专业性和观赏性,“豆包视频生成”团队还创新性地采用了全新设计的扩散模型训练方法。
prompt:睡美人躺在床上陷入沉睡,窗外的小鸟叽叽喳喳也吵不醒她,这时一位王子俯下身吻了睡美人,试图唤醒她。(来源:机器之心) 在这个 prompt 中,涉及多个镜头的切换,但主体、风格、氛围和逻辑仍能保持一致性。
这一方法有效攻克了多镜头切换过程中保持主体、风格、氛围一致性的技术难题,确保在镜头切换的瞬间,视频的整体氛围与细节表现依然和谐统一,为观众带来更加沉浸式的观看体验。
三、写在最后
自此,AI视频赛道,字节可谓一鸣惊人!2025前,我们看到了一个AI武装版的字节正在酝酿之中。期待王者归来!
最后不得不说一句,当你认为一切已黯淡成型时,宇宙条正悄悄为你准备新的开始。这正是,大模型战场的魅力。
本文转载自51CTO技术栈,作者:言征