万物皆可JOJO:这个GAN直接让马斯克不做人啦

新闻 人工智能
我们一起来看看这个叫做JoJoGan的模型。它主要是通过GAN反转(inversion)来获取近似风格的,主要工作流程分四步。

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

这下真的是万物皆可JOJO化了!

本来就神采飞扬的马斯克,下一刻更是仿佛要直接“我不做人啦!”

世界名画蒙娜丽莎神秘优雅的微笑,似乎也变得JO灼了起来……

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

再来个同一次元的……团长你在做什么啊团长!

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

而上面这些效果只要打开网页Demo,点击上传任意本地图片就能实现。

这就一下子引来了大批网友的围观,不仅推特热度800+,在线试玩的抱抱脸(Hugging Face)还排起了队,一张照片最多要等四五分钟。

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

还不仅JOJO一种风格,还有迪士尼风、英雄联盟风……输入任意一种风格的图像,都可以将这种风格快速应用到新的图片上:

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

看这楚楚可怜的卡姿兰大眼睛,以及天真无邪的公主笑,我只想说……老马,快收了神通吧!

在线JO化任意人像

看了上面的演示,是不是自己也想整一个JO化脸?

我们用开发者提供的Hugging Face和Colab来试一下。

首先是在线网页版的Hugging Face,点击左边框中空白处就能把任意本地照片丢进去:

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

再点Submit,等个十几秒……站在你面前的不是别人,而是ko no肌肉金轮大司马哒!

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

这个方法点开链接就能即传即玩。不过虽然简单快捷,但偶尔还是要排队等个几分钟:

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

所以强烈安利colab版本,向test_input文件夹中导入任意图像,比如我们这里放入一张冰冰,然后点击运行:

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

再继续运行下面的生成模块:

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

把我的冰冰女神JOJO化,这也在你的算计之中吗GAN !

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

而且,colab中还提供了另一种玩法:导入一张任意风格的图片,自己制作一个XX风格生成器。

嗯……这不得整一个提瓦特大陆版的马斯克?

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

上传一张老马的正经图:

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

再在style_images文件夹中上传一张原神风格的人像:

(上传偏二次元风格的图像可能会出现“找不到人脸”的情况,需要多试几张图)

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

然后进行微调,等待几分钟,再点运行:

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

这个坚毅的眼神,再配上原图里老马的那个远眺抱胸的姿势,感觉下一秒就能来句天动万象了!

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

通过GAN反转获取近似风格

那么,这种方法到底是怎么做到只参考一张图片,就能完美学习其美术风格,再将其运用到其他图像上呢?

我们一起来看看这个叫做JoJoGan的模型。

它主要是通过GAN反转(inversion)来获取近似风格的,主要工作流程分四步:

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩
  1. 通过GAN将参考风格图像反转为近似的配对训练数据,得到相应的风格化的代码;
  2. 根据风格化代码生成真实的人脸图像,并与参考风格图像相匹配,形成成对的数据作为配对训练集;
  3. 基于这些成对的训练数据,对StyleGAN进行微调;
  4. 使用微调后的StyleGAN生成新的样本。

开发者表示,这一模型非常关注零监督下的风格细节,并且在不同风格中具有良好的通用性,能够轻松泛化到其他风格的图像上。

从二次元到技术宅

开发者Min Jin Chong也是我们的老熟人了,之前曾经搞过二次元老婆生成器:

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

Min Jin Chong本人本科毕业于美国伊利诺伊大学厄巴纳-香槟分校(UIUC),后继续留校读博,主要研究领域为机器学习、计算机视觉和图像生成。

此前他曾在字节实习过3个月,现在与两位同校学生一起创立了一个叫做Style Space的时尚购物应用,允许用户在虚拟空间中试用和购买产品。

[[442230]]

而他的导师David Forsyth则是一位CV领域的大牛,曾与Jean Ponce著有计算机视觉经典教材《Computer Vision:A Modern Approach》:

万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩

Hugging Face在线试玩:
https://huggingface.co/spaces/akhaliq/JoJoGAN

colab在线试玩:
https://colab.research.google.com/github/mchong6/JoJoGAN/blob/main/stylize.ipynb#scrollTo=LCLWiXoXwcJb

论文链接:
https://arxiv.org/abs/2112.11641

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2021-01-12 15:20:39

AI 数据人工智能

2019-01-18 12:59:46

智能养老IOT智能

2023-07-14 10:13:23

马斯克AI

2020-05-09 13:00:08

AI 工具自动化

2022-12-12 13:54:16

2024-01-16 10:54:14

2022-01-23 10:53:47

星链互联网卫星

2024-05-11 08:00:00

马斯克脑机接口

2022-04-20 10:33:59

人工智能数字经济互联网 文章链接:智

2023-02-11 12:47:07

2021-06-11 17:14:26

黑客马斯克加密货币

2022-04-15 10:55:59

Web3反垄断元宇宙

2023-11-08 17:20:42

AI开发

2023-02-20 15:12:50

特斯拉自动驾驶

2021-12-09 10:18:29

芯片半导体技术

2020-08-31 12:01:43

网络攻击恶意软件网络安全

2023-04-20 17:51:41

马斯克微软

2024-05-07 13:30:00

数据训练

2023-05-26 17:11:25

马斯克Neuralink接口

2023-03-15 16:09:44

点赞
收藏

51CTO技术栈公众号