生成“猫狗版”特朗普,造假脸工具StarGANv2被玩坏,算法已开源

新闻 人工智能 算法
如果你想用AI把特朗普的脸变成猫,又或者是把自己的脸与漂亮的奥妹结合起来,你会怎么办?也许你会想到两样AI工具。但是Deepfake生成人脸违和感太强,GAN生成假脸又很难深度定制。

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

如果你想用AI把特朗普的脸变成猫,又或者是把自己的脸与漂亮的奥妹结合起来,你会怎么办?

也许你会想到两样AI工具。但是Deepfake生成人脸违和感太强,GAN生成假脸又很难深度定制。

现在来自韩国团队开发的风格迁移模型StarGANv2可以完美解决这个问题。

生成“猫狗版”特朗普,造假脸工具StarGANv2被玩坏,算法已开源

如果你是一个对GAN长期关注的同学,那么一定还记得StarGAN,它是韩国高丽大学和Clova AI研究院在2017年底推出的风格迁移模型。

只需输入一张大头照,StarGAN就能让你知道自己改变发型、性别、年龄后分别长啥样。

而StarGANv2正是同一研究团队推出的升级版本,已经被CVPR 2020收录。最近他们在GitHub上公布了官方实现代码,很快就被网友玩坏了。

StarGANv2有两个训练数据集,一个针对人脸,一个针对动物脸。

两者本来是“井水不犯河水”,但是有人偏偏要混用,拿特朗普的脸输入到动物脸预训练模型里。结果川普的脸转换成猫就成了这样:

生成“猫狗版”特朗普,造假脸工具StarGANv2被玩坏,算法已开源

与狗脸合成又成了这样,模型甚至给狗穿上了西服。

生成“猫狗版”特朗普,造假脸工具StarGANv2被玩坏,算法已开源

安装使用

这么有趣的模型,如何安装呢?好在StarGANv2的开发团队提供了完整的代码和预训练模型。

先将项目克隆到本地:

  1. git clone https://github.com/clovaai/stargan-v2.git 
  2. cd stargan-v2/ 

安装依赖项:

  1. conda create -n stargan-v2 python=3.6.7 
  2. conda activate stargan-v2 
  3. conda install -y pytorch=1.4.0 torchvision=0.5.0 cudatoolkit=10.0 -c pytorch 
  4. conda install x264==’1!152.20180717’ ffmpeg=4.0.2 -c conda-forge 
  5. pip install opencv-python==4.1.2.30 ffmpeg-python==0.2.0 scikit-image==0.16.2 
  6. pip install pillow==7.0.0 scipy==1.2.1 tqdm==4.43.0 munch==2.5.0 

然后下载预训练数据集,其中前两项是人脸数据集和预训练模型,后一项是动物脸。

  1. bash download.sh pretrained-network-celeba-hq 
  2. bash download.sh wing 
  3. bash download.sh pretrained-network-afhq 

最后将需要转换的照片裁切成和数据集图片一样的长宽比,输入以下命令转换图片。

  1. python main.py —mode sample —num_domains 2 —resume_iter 100000 —w_hpf 1 \ 
  2. —checkpoint_dir expr/checkpoints/celeba_hq \ 
  3. —result_dir expr/results/celeba_hq \ 
  4. —src_dir assets/representative/celeba_hq/src \ 
  5. —ref_dir assets/representative/celeba_hq/ref 

效果远超其他GAN

StarGANv2由四个模块组成:

  1. 生成器将输入图像转换为反映特定域风格编码的输出图像;
  2. 映射网络将潜在代码转换为训练中随机选择的多个域的风格编码;
  3. 风格编码器提取图像的风格编码,允许生成器执行参照物引导的图像合成;
  4. 鉴别器从多个域中区分真实图像和虚假图像。
生成“猫狗版”特朗普,造假脸工具StarGANv2被玩坏,算法已开源

作者随机选取了10张图像进行风格迁移的实验,结果FID远远小于其他同类模型。

生成“猫狗版”特朗普,造假脸工具StarGANv2被玩坏,算法已开源

他们还把四种模型生成的图像上传到AMT平台,交给人工评选,绝大部分测试者都认为StarGANv2生成的图片更优质。

生成“猫狗版”特朗普,造假脸工具StarGANv2被玩坏,算法已开源

从人工评选的结果也可以看出,StarGANv2在生成动物脸上的效果更好,难怪网友要拿动物模型来改造特朗普头像了。

生成“猫狗版”特朗普,造假脸工具StarGANv2被玩坏,算法已开源

传送门

论文地址:https://arxiv.org/abs/1912.01865v2

官方实现代码:https://github.com/clovaai/stargan-v2

 
责任编辑:张燕妮 来源: 量子位
相关推荐

2020-10-26 14:11:13

特朗普漏洞推特密码

2020-11-16 19:10:57

网络安全CISA特朗普

2016-11-10 07:22:22

科技新闻早报

2021-06-11 17:13:17

拜登特朗普TikTok禁令

2020-11-01 16:51:41

​黑客特朗普密码

2020-08-17 09:42:57

微信苹果特朗普

2019-07-03 13:26:29

5G特朗普华为

2020-10-28 10:06:52

安全网络攻击数据

2024-11-14 13:09:53

2016-11-17 14:47:15

超算

2020-10-29 12:56:29

黑客特朗普网络攻击

2020-11-09 11:23:08

数据泄露漏洞网络攻击

2018-04-24 08:16:45

5G网络技术

2020-08-25 11:36:13

GitHub代码开发者

2020-12-11 12:49:03

大数据信息数据分析

2016-11-16 09:12:16

特朗普大数据

2020-08-11 09:35:21

微软TikTok技术

2019-10-14 09:04:24

华为禁令开发

2020-10-15 12:29:49

禁令黑名单蚂蚁金服

2024-08-09 14:13:51

点赞
收藏

51CTO技术栈公众号