最近,如果你经常刷视频网站,可能会刷到一些非常神奇却又带感的东西,具体来说就是各种人物,例如孙悟空啊、蒙娜丽莎啊,居然都开口唱歌,就像下面的视频:
这视频自然不可能是原片,显然是加工生成的。那么这种视频是怎么做出来的呢?
其实它用到了一个开源的 AI 项目“Yanderify”。这是一个可以将视频和照片合成、让照片按照视频人脸一样,表情动起来的神奇项目,就如 Yanderify 项目页面中的这个动图所演示的那样。
从左到右,分别是照片原图、视频原片以及合成生成的视频。那么 Yanderify 具体要怎么操作?今天就来给大家讲讲!
首先,Yanderify 是基于 Python 的项目,我们先需要安装 Python。点击下面链接进入 Python 官网,下载安装即可。
Python 官网:https://www.python.org
如果你的操作系统是 64 位的,那么最好下载 64 位的 Python。以 Windows 系统为例,Python 官网的下载按钮默认可能会提供 32 位的安装包,这时候你可以进入到 Download-Windows 页面中,找到 64 位的安装包下载。
接着,进入 Yanderify 的 GitHub 页面。
Yanderify:https://github.com/dunnousername/yanderifier
在其中找到“Release”链点,下载最新发布的 Zip 包即可。
Yanderify 无需安装即可运行,解压后,双击“Start Yanderify”。
运行“Start Yanderify”
Yanderify 的界面非常简单,一个命令行窗口+一个毫无装饰的 GUI。我们所需要做的,就是选择一张图片素材和一段视频素材,然后设定输出路径。另外,Yanderify 对硬件有一些要求。
Yanderify 支持N卡的 GPU 加速,但要求型号高于 GTX750,而且有 2G 以上的显存;而如果你用的是A卡的话,Yanderify 没法使用 GPU 加速,需要勾选“Use CPU”的选项。
Yanderify 的界面
选择一个视频、一张照片作为素材
在素材的选择上,注意不能选择规格太过高清的图片和视频,不然可能软件会崩溃。
点击“Go”,Yanderify 就开始合成素材了。不过如果你是第一次使用 Yanderify,那么它还会先下载两个文件。这两个文件的下载速度比较慢,这里把这两个文件的下载地址贴出来,大家可以用下载工具下载。
首次使用需要下载俩文件,比较慢
https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth
https://www.adrianbulat.com/downloads/python-fan/2DFAN4-11f355bf06.pth.tar
下载完毕后,关闭 Yanderify,把两个文件放到以下目录。
C:\Users\用户名\.torch\models
可以手动下载这两个文件,放到相应文件夹
然后开启 Yanderify,就可以正常使用了。
合成中……
到了这里,合成就完成了
Yanderify 的效果如何?笔者简单合成了一个小视频,仅供大家参考……
原图&合成
好了,教程到此为止。这个 AI 的原理是利用机器学习,来识别视频和图像的脸部运动,然后将图片按照视频,处理成为动画。
如果你觉得好玩,不妨亲手试试吧,恶搞一下朋友还是很有趣的,但可不要用它来传播虚假信息!