一位英国电影导演正在尝试利用人工智能(AI)技术彻底改变我们观看外国电影的方式:通过对演员的面部进行数字编辑,让他们看起来就好像在说将要被配音的那种外语一样。
斯科特·曼在2015年执导了由罗伯特·德尼罗主演的惊悚片《双面劫匪》,却被影片的一个配音版本惊得目瞪口呆。他由此受到启发,创建了自己的初创企业。
曼受到了德国马克斯·普朗克信息研究所的启发,后者一直致力于通过数字化手段重新生成面部形象。这项研究促成他去创建了一家公司。该公司使用一种人工智能系统研究演员的头部、颈部和嘴部动作中数以百万计的细微变化,能够从每一帧画面中积累知识。
这种人工智能工具从影片中提取演员的2D面部图像,将它复制成3D形象。新的头部形象结合了我们对于人们在使用影片配音语言时嘴部动作的现有了解。这种工具能够计算出某名特定演员在说那种语言时的嘴部动作,从而创建出一个新的3D头部模型用于每一帧画面。
一旦实现了这一步,配音演员的录音就会被输入系统,而图像也会被重新转换为2D。接下来的润色工作则交由一个特效团队来完成。该公司公布的剪辑显示,汤姆·汉克斯在电影《阿甘正传》片段中的口型能够与用日语、西班牙语和德语配音的台词实现无缝对接。
人工智能系统会扫描电影中的每一帧画面,观察一名演员在说话时的头部、颈部和嘴部动作。在了解这名演员说话的独特方式后,该系统会创建一个他的头部3D模型。
然后,工程师们会运行一项程序,该程序了解人们在使用配音语言时的典型嘴部动作,而且能够计算出这名演员在使用这种特定语言时的独特嘴部动作。
一名配音演员使用这种新语言的录音会被输入该系统。接下来,该系统会创建一个新的演员头部3D模型,用于这名演员与这种新语言同步的嘴部和面部动作的每一帧画面,以确保能够覆盖每一个展现他们说话的摄像角度。这些画面随后被置于真人表演的版本上,最后的润色工作则可以交由一个特效团队来完成。