我们处于2021年初,在过去的一年中,机器学习社区发生了很多事情。
不用浪费时间,这里是最流行,趋势最明显的开源研究项目,演示和原型的导览。从照片编辑到NLP,再到带有"无代码"的训练模型,我希望它们能激发您开发出令人难以置信的AI驱动产品。
1.背景遮罩v2
Background Matting v2从流行的"世界就是您的绿屏"开源项目中汲取了灵感,并展示了如何实时删除或更改背景。它具有更好的性能(4K时为30fps,FHD为60fps),可与流行的视频会议应用Zoom一起使用。
该技术使用捕获的背景附加帧,并将其用于恢复alpha遮罩和前景层。为了实时处理高分辨率图像,使用了两个神经网络。
如果您想在保留背景的同时从视频中删除某人,则该项目无疑会有所帮助。
2. SkyAR
这是另一个出色的项目,它可以实现视频天空替换和协调,可以在样式可控的视频中自动生成逼真的戏剧性天空背景。
该项目基于Pytorch,部分改编了pytorch-CycleGAN-and-pix2pix项目中的代码,并利用了天空遮罩,通过光流进行的运动估计以及图像融合为视频提供了艺术背景。
上面的开源在电影和视频游戏中具有不可思议的潜力,例如增加假雨/晴天/等。
3. AnimeGAN v2
对照片进行卡通化始终是一个有趣的机器学习项目。是不是
AnimeGANv2这个项目是AnimeGAN的改进版本。具体来说,它结合了神经风格转移和生成对抗网络(GAN)来完成任务,同时还确保了防止高频伪像的产生。
4. txtai
AI精致的搜索引擎和质量检查聊天机器人始终是小时的需求。这正是该项目的目的。
通过使用句子变形器,变形器和fais,txtai构建了一个AI驱动的引擎,用于上下文搜索和提取性问题解答。
实质上,txtai支持构建文本索引以执行相似性搜索并创建基于提取问题的系统。
5.将旧照片带回生活
接下来,我们有Microsoft最新的照片恢复项目,该项目可以自动修复损坏的照片。
具体来说,它通过利用PyTorch中的深度学习实施来恢复划痕检测,面部增强和其他技术,从而使遭受复杂退化的旧照片得以恢复。
根据他们的研究论文:"我们训练了两个可变自动编码器(VAE),分别将旧照片和干净的照片转换为两个潜在空间。并使用合成配对数据学习这两个潜在空间之间的转换。由于域间隙在紧凑的潜伏空间中是闭合的,因此这种转换可很好地推广到真实照片。此外,为了解决一张旧照片中混合的多种退化问题,我们设计了一个全局分支,该分支具有针对结构化缺陷(例如划痕和灰尘斑点)的局部非局部块,而针对非结构化缺陷(例如噪声和模糊度)的局部分支。
该模型肯定优于传统方法,如以下演示所示:
6.头像化
Deepfake项目席卷了机器学习和AI社区。该项目通过让您在实时视频会议应用程序中创建逼真的头像来显示一个经典示例。
基本上,它使用一阶模型从视频中提取运动,然后通过光流将其应用于目标头像图像。这样,您可以在虚拟相机上生成化身,甚至可以为经典绘画制作动画。从Elon Musk到Mona Lisa,您都可以假扮任何人来娱乐!
7.脉冲
这是一个AI模型,展示了如何从低分辨率的人脸图像生成真实的人脸图像。
PULSE代表通过生成模型的潜在空间探索进行自我监督的照片上采样,它基于创建逼真的SR图像(也可以正确缩小比例),提供了超分辨率问题的另一种表示方式。
8. pixel2style2pixel
基于研究论文"样式编码:用于图像到图像翻译的StyleGAN编码器",该项目使用Pixel2Pixel框架,旨在使用相同的架构按顺序解决各种图像到图像的任务以避免任何可能的局部偏差。
基于新颖的编码器网络,可以训练该网络以将面部图像与额姿对齐,进行条件图像合成并创建超分辨率图像。
从漫画家的照片中产生几乎真实的人,到将草图或面部分割转换为逼真的图像,您可以做很多事情。
9.伊格尔
这可能是由于预算问题或缺乏清晰的愿景,但寻找具有相关机器学习专业知识的人员始终是初创企业的挑战。更重要的是,由于该领域始终处于发展之中。
因此,近来无代码机器学习平台激增,Google和Apple之类的公司发布了自己的工具集以快速训练模型。
这个令人愉悦的开源机器学习项目正是通过允许您在不编写代码的情况下训练/拟合,测试和使用模型来做到这一点的。虽然GUI拖放版本仍在开发中,但使用此项目的命令行工具可以实现很多功能:
- //train or fit a modeligel fit -dp 'path_to_your_csv_dataset.csv' -yml 'path_to_your_yaml_file.yaml'
- //evaluateigel evaluate -dp 'path_to_your_evaluation_dataset.csv'
- //predictigel predict -dp 'path_to_your_test_dataset.csv'
还有一个命令igel实验可以将所有阶段结合起来:训练,评估和预测。有关更多详细信息,请参阅此处的文档。
10.姿势动画师
最后但并非最不重要的一点是,我们有一个网络动画工具。基本上,该项目使用PoseNet和FaceMesh具有里程碑意义的结果,通过利用一些TensorFlow.js模型使SVG矢量图像栩栩如生。
您可以通过以下方式对自己的设计或骨架图像进行动画处理:
结论
这是2020年发布的最流行和最受欢迎的机器学习项目的总结。
谢谢阅读。