巴黎奥运会期间,一条《奥运熊猫奇幻之旅》的短片刷爆了大家的朋友圈,可爱的中国熊猫,在一场梦境中参加了各种奥运赛事:打乒乓球、击剑、游泳、举重,每一帧场景的还原度十分逼真,赢得了大家疯狂的转发和点赞。
这个短片的广泛流传,也让更多的人注意到AI短片创作达人温维斯。
从事AI视频创作以来,除了和人民日报、快手可灵共创了《熊猫奥运奇幻之旅》,温维斯先后还分别与央视财经和新华社共创了《中秋C位美食已就位》《穿越时空之旅系列》《赤心》等AI 视频,得到了业界的一致认可。
那么,第一次科幻题材的创作再到人民日报报道的“熊猫奥运奇幻之旅”,温维斯在AI短片创作的成长道路上是如何“打怪升级”的呢?
2024年年初,我开始持续进行AI短片的创作,这是一个新的挑战。当时,自己作为AIGC产品经理,出于自己的工作性质,对于AIGC工具的捕捉同样十分重要,什么工具好用,什么工具能够极大提效,自己需要非常清楚。
第一次制作AI短片,我就选择了极富感染力的科幻题材,因为很喜欢科幻电影,所有做了这样的尝试,当时的创作过程的确有遇到不少困难。
首先是剧本、脚本的创作,是此前从来没有尝试过的。我需要通过不断的与ChatGPT交流,让GPT进行剧本的润色与脚本的编辑。
另一方面,当时市面上还没有涌现出效果特别好用的AI工具,为了生成令自己满意的素材,最后不得不在彼时本就不多的视频工具间不停地选择切换,例如Dreamina、Pixverse、Pika、Haiper、Runway,不过也正是因为这些创作工具,让我快速打开了AI创作的大门。
图源:熊猫奥运奇幻之旅
不过随着素材的不断增多,大量的图片、视频素材数据堆积在电脑里。1分多钟的短片,平均3s一个镜头,最少也有20个镜头,每个镜头20m,高清后120m,可能就能够达到2G多。
当素材非常多的时候整个视频剪辑软件就会变得非常卡顿,非常影响效率。这时候非常需要一个处理速度快,内容大,显存大的电脑!
值得一提的是,这个作品同时也是参赛作品,自己还为短片进行了视频超清处理。这里也有一个令人头疼的问题,一个5秒短片视频超清需要花费15-20分钟。
最后,还需要为短片中人物进行配音,同样是AI工具完成的。
今年夏天,巴黎奥运会期间,同时非常幸运地与可灵AI、人民日报、德里克文老师一起共创了奥运AI短片《熊猫奥运奇幻之旅》。
图源:《熊猫奥运奇幻之旅》
这次短片创作涉及到多方参与合作,需要大家多次沟通确认。仅仅是短片风格问题,团队们就先后提出了不同的看法。从写实风格、动漫风格,再到首尾帧技术实现,最后到拟人化风格,短片前前后后我们调整了3个版本,最终选择了可爱的写实熊猫风。
AI时代为短视频创作带来前所未有的效率和想象空间,同时也形成了一套非常独特的创作栈。挑选创作工具的难点有不少,例如:这款工具如何确保作品生成过程的可控性、如何进行精细化的定制,如何确保前端界面与后端模型的直观交互,如何确保图片创作环境的稳定性,如何提升出图效率等等。
那么,炫酷的短片究竟是怎样通过这些工具“炼”出来的呢?工欲善其事必先利其器。这里就必须重点提到了三款AI神器:ComfyUI,SD-WebUI、Midjourney。
ComfyUI这款工具的独特之处在于,提供了基于节点工作流稳定扩散算法的图形界面,通过将稳定扩散的流程巧妙分解成各个节点,可以成功实现工作流的精准定制和可靠复现。这一点非常关键。
用惠普Z系列移动工作站ComfyUI复现短片《点亮》,工作效率非常高,完全意想不到的效果!
通过ComfyUI的工作流编排,我们可以做到每一帧前后的连贯一致性。
使用惠普Z系列移动工作站进行ComfyUI工作流编排
然而需要注意的是,ComfyUI需要创作设备的计算能力得足够强悍,传统设备的硬件在高负荷下容易崩溃,完成效率不会很高。
而与ComfyUI不同,另一款神器SD-WebUI,则胜在直观的操作体验界面。SD-WebUI是为Stable Difussion模型开发设计的可视化浏览器界面操作平台,用户即使不具备编程知识或高级技术,也能通过直观的前端交互轻松使用模型功能。此外,还能通过装载不同的插件和模型以满足定制化需求,从而创造出更为可控的视觉作品。
我经常用它来进行AI换脸、瞬息全宇宙特效的制作,非常好用。可惜的是,SD-WebUI有一个硬伤:运行时,它经常会占用系统内存和GPU。
具体到AI绘画软件,我目前使用频次最多的Midjourney,也是我入门AI绘画的第一款绘画软件。
虽然Midjourney出图很快,图片效果也很好,但不足之处在于Midjourney运行在电脑的浏览器中,一旦打开多个页面,浏览器就会卡顿甚至崩溃卡死的情况。
不过,AI视频制作的局限性不仅源于工具,也与电脑设备有关。合适的硬件对高质量视频创作很重要,尤其需关注以下方面:
1.硬件性能:重点是CPU/GPU、内存和存储容量,是工具流畅运行的必要条件,传统设备在高负荷下易崩溃。内存和存储常被初学者忽略,如高质量短片编辑渲染需大量内存,低内存会使处理速度慢,5秒片段可能需等30分钟;5秒AI高清视频可达300M,100个镜头的短片可能需30G容量。
2.软件优化:不同软件和插件可能存在兼容性问题,影响工作流程;长时间渲染或编辑时传统设备易发烫,软件稳定性影响效率;部分视频编辑软件在高负荷下性能优化不足,导致卡顿或崩溃。
3.工作流效率:AI短片创作常需并行处理多任务。
4.跨设备数据传输:团队协作时不同设备间数据传输和同步效率低,影响工作进度。
因此,经过多重考虑,我最后选择尝试在惠普Z系列移动工作站HP ZBook Fury 16 G11,使用上述这些工具,再次创作一遍。他发现对于一款高配的创作设备而言,对于诸如高内存、GPU计算资源的占用、浏览器卡顿崩溃的问题的担心,完全没有必要了。“从渲染视频,到使用WebUI,最后到剪辑,都没有出现过一次卡死的情况,打开几十个Midjourney页面完全不用担心。”
我手里这台ZBook Fury G11 移动工作站让我做AI创作的道路上如虎添翼。它搭载第 13 代英特尔 酷睿i9处理器的英特尔博锐平台,同时适配了5000 Ada GPU,32G的RAM和2T的存储空间,同时还兼容了市面上主流的视频编辑和特效制作软件,而且还具有21000+ISV 软件的组合认证,可以运行各类工具,性能拉满的同时安全感也是满满。可以说,这款工作站是对于处理复杂的AI短片而生的。
温维斯Wenvis是如何用惠普Z系列移动工作站HP ZBook Fury G11复现《熊猫奥运奇幻之旅》AI短片“神”场景?
敬请期待下一期《用智能 开启无限可能丨酷炫十足的AI短片,如何炼成(下)》