女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

新闻 人工智能
这是已经多日霸占GitHub热榜第一的AI修复项目:GFP-GAN,Star数高达8400。

 [[440335]]

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

包浆老图立刻清晰到头发丝是一种怎样的体验?

看这明亮的眼眸、清晰的发丝,原本模糊的人像立刻添了几分灵动:

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

(这就是用AI修复的高圆圆童年照)

时间更久远的历史名人照片也能搞定。

鲁迅先生年轻时意气风发的模样,被还原地淋漓尽致:

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

图灵的这张修复就更厉害了,不仅眼神更加锐利,头发、眉毛等细节都被完美还原了出来:

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

而以上这些效果,无需专业PS技能,只用一个网页端的Demo、点点鼠标上传图片就能搞定!

这么方便的修复神器,立刻引来了广大网友的围观和试玩。

不少人都用自己童年时低像素的照片来试验,这效果仿佛十几年前的自己就站在眼前了:

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

已经糊到包浆的照片也能秒变人像大片,这feel立刻就来了~

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

多人合照修复也都是小case,这效果让网友们直呼惊到了惊到了。

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

这就是已经多日霸占GitHub热榜第一的AI修复项目:GFP-GAN,Star数高达8400

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

最近,它在网上又掀起了一股老照片修复热潮,让人们争相试玩!

而这一项目由腾讯PCG ARC实验室提出,其相关论文已被CVPR2021收录。

现在,就让我们赶紧来体验一下它的神奇之处吧。

Demo试玩

GFP-GAN可通过Colab、Hugging Face或本地运行代码进行试玩。

我们今天是在Hugging Face网页端体验。

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

如界面所示,只需将你想修复的照片拖进左边的图片框内,点击Submit即可。

比如我们上传一张的照片,得到的效果就是这样:

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

而且它还会自动摆正人脸。

让人惊喜的是,遇到人像戴眼镜的情况,GFP-GAN甚至连镜片反光都能高清化处理。

u1s1(有一说一),修复后的效果完全看不出是几十年前的照片啊!

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

就连齐天大圣孙悟空的猴脸,对于GFP-GAN而言也是so easy,并且对光线的修复效果格外突出。

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

并且修复中也不会过度磨皮,人脸上自然的皱纹也全部精细展现。

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

用GAN修复人像

那么GFP-GAN如此强大的效果是怎么实现的呢?

研究人员受到StyleGAN2的启发:

既然GAN已经能生成如假乱真的图片,那么它所包含的面部信息,是不是也能帮助人脸修复呢?

由此,在GFP-GAN的模型框架中,主要用到了一个退化清除模块和一个预训练的GAN作为先验。

两个模块通过隐编码映射和多个信道分割空间特征变化层(CS-SFT)连接。

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一

训练过程中,首先要对低质量人脸进行降噪等粗处理,然后保留面部信息。

在保真度方面,研究人员引入了一个面部损失( Facial Component Loss),判断哪些细节需要提升保留,然后再用识别保留损失(Identity Preserving Loss)进行修复。

一作师从汤晓鸥教授

本文论文一作是Xintao Wang,他是腾讯 ARC 实验室(深圳应用研究中心)的研究员。

本科毕业于浙江大学,博士毕业于香港中文大学。

其博士期间师从汤晓鸥教授和Chen Change Loy教授。

研究方向为计算机视觉和深度学习,尤其关注图像、视频修复方面。

[[440339]]

论文地址:
https://arxiv.org/abs/2101.04061

GitHub项目页:
https://github.com/TencentARC/GFPGAN

Hugging Face试玩传送门:
https://huggingface.co/spaces/akhaliq/GFPGAN

 

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2019-12-26 15:31:17

腾讯框架开源

2023-07-29 13:29:26

程序架构

2019-08-08 16:37:31

开源技术 数据

2019-12-04 15:00:04

GitHub 技术开源

2020-02-13 11:47:05

GitHub代码开发者

2019-09-08 23:00:19

GitHub代码开发者

2023-10-10 07:19:07

Github开源库系统

2022-03-14 09:41:07

算法开源修复

2021-11-19 17:25:03

AI 数据人工智能

2024-02-19 13:46:04

多模态信息LWMtoken

2020-01-03 16:00:28

谷歌GitHub机器学习

2022-04-07 09:37:23

AI开源GitHub

2023-10-20 12:45:00

AI数据

2024-09-04 15:09:58

AI模型

2022-04-29 16:47:57

AI腾讯

2023-04-19 08:14:24

2019-07-05 15:42:58

GitHub代码开发者

2020-07-15 15:21:06

谷歌开源机器学习

2023-06-20 08:28:17

点赞
收藏

51CTO技术栈公众号