2D动画唇动合成,根据语音自动生成动画人物口型

新闻 开发工具
这是一个在GitHub上拥有501星的开源项目,叫做Rhubarb Lip Sync。它既可以是Windows和OS X命令行工具,也可以作为软件的插件使用,能够根据语音记录自动创建2D嘴型动画。

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

只需要输入一段语音,代码会自动生成与之相对的动画唇形。

还是毫无违和感的那种。

[[359582]]

这是一个在GitHub上拥有501星的开源项目,叫做Rhubarb Lip Sync

它既可以是Windows和OS X命令行工具,也可以作为软件的插件使用,能够根据语音记录自动创建2D嘴型动画。

它可以用于计算机游戏、动画卡通中的角色,或者用于其他需要基于现有录音、对嘴部进行动画处理的的影视项目。

那么,它是怎么实现如此效果的呢?

运作原理

首先,了解一下动画人物说话的六种嘴型。

2D动画唇动合成,根据语音自动生成动画人物口型

上述六种嘴型是由汉娜·巴贝拉(Hanna-Barbera)发明,已经成为2D动画嘴型的制作标准,被迪士尼和华纳兄弟等影视公司在多部影视作品采用。

[[359584]]

大多数的发音,都可以用这六种嘴型表示出来。

因此,Rhubarb Lip Sync工作的步骤如下:

  • 输入一段语音
  • Lip Sync识别这段语音
  • 使用六个基本嘴形和最多三个扩展嘴形与语音匹配
  • 输出一个固定格式的文件

假如我说个奇怪的方言,它也能输出相应的嘴型动画吗?

当然不是。

目前,Rhubarb Lip Sync只提供了两个语音识别系统:

  • PocketSphinx:只能识别英语,准确率更高。
  • Phonetic :能识别所有语言,因为它是依据个人的声音和音节判别的,但准确率不如前者。

那么,这个小工具可以跟哪些视频软件融合使用呢?

可适用于多款软件

Adobe After Effects

可以在下载Rhubarb Lip Sync,并且安装到AE上,可以直接在AE上运行这个软件。

2D动画唇动合成,根据语音自动生成动画人物口型

Moho and OpenToonz

Rhubarb Lip Sync能够生成.dat文件,这种文件可以被Moho and OpenToonz识别,并导入使用。

2D动画唇动合成,根据语音自动生成动画人物口型

Spine by Esoteric Software

Rhubarb Lip Syn for Spine是一个图形工具,可让导入Spine项目,执行自动唇形同步,然后将结果重新导入Spine。

2D动画唇动合成,根据语音自动生成动画人物口型

Vegas Pro by Magix

Rhubarb Lip Syn 还附带了两个用于Vegas Pro(以前称为Sony Vegas)的插件脚本,可直接在Vegas中使用。

2D动画唇动合成,根据语音自动生成动画人物口型

赶快把这个小工具推荐给你喜欢做视频的朋友吧~

源代码地址:

https://github.com/DanielSWolf/rhubarb-lip-sync

最新版本的下载地址:

https://github.com/DanielSWolf/rhubarb-lip-sync/releases

https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adoc

https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2012-11-07 09:43:58

IBMdw

2013-01-30 16:15:40

adobeHTML5css3

2023-05-03 09:01:41

CanvasWebGL

2023-02-20 09:58:35

模型3D

2024-02-19 13:10:38

模型训练

2017-09-06 10:51:22

Facebook

2020-05-11 13:56:43

2D插画人工智能

2022-07-13 10:20:14

自动驾驶3D算法

2011-04-25 09:37:11

工作站惠普Z800

2011-06-02 09:12:17

工作站评测

2011-06-30 13:03:01

工作站评测

2012-12-24 09:00:31

iOSUnity3D

2011-04-25 14:36:24

Ubuntu Unit

2012-12-24 13:38:01

iOSUIView

2023-06-05 15:00:13

书籍翻页动效鸿蒙

2021-02-21 08:12:24

SVG线条动画Web动画

2024-01-19 16:35:00

模型动画

2011-08-11 18:07:55

iPhoneQuratz 2D

2012-05-07 14:25:16

HTML5

2021-02-21 07:49:40

Web动画SVG线条动画
点赞
收藏

51CTO技术栈公众号