GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

新闻
2021年一开始,OpenAI在GPT-3方向上的又一重要突破,让吴恩达等大佬激动了。

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

2021年一开始,OpenAI在GPT-3方向上的又一重要突破,让吴恩达等大佬激动了。

之前给GPT-3一段话,就能写出一段小说。

现在它成功跨界——可以按照文字描述、生成对应图片!

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

简直就是“甲方克星、乙方福音”,提需求爱描述的甲方老板,现在直接哔哔就能立竿见影得到效果图。

比如你输入“OpenAI公司门面”,它就能给出设计图:

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

这个新的AI,叫做DALL·E(Dali + Wall-E)。

除了生成现实中的图片外,DALL·E还能按要求设计出“一颗白菜穿着芭蕾舞裙在遛狗”,妥妥的漫画风。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

从“五边形闹钟”到“牛油果形状的座椅”,只要你的想象力够丰富,DALL·E全都能画出来。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好
GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

技术上更厉害的是,OpenAI透露这个AI是基于GPT-3而构建,仅使用了120亿个参数样本,相当于GPT-3参数量的十四分之一

于是效果一出,吴恩达、Keras之父等纷纷转发、点赞。堪称2021年第一个令人兴奋的AI技术突破。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

看吴恩达老师pick的这个demo效果,以后是想直接描述生成自己想要的工装?

“图像版”GPT-3,还自带排名

生成这些优秀作品的,是一个名为DALL·E的结构。

DALL·E的名字,来源于大艺术家达利(Dalí)和皮克斯动画《机器人总动员》中的主角“瓦力”(WALL·E)。

[[374132]]

本质上,它就是一个被重新训练过的“120亿参数版”GPT-3,能根据一段文字描述,生成对应的图像。

为了让DALL·E能“识字画图”,研究者们用包含各种“文本-图像”组合的数据集,来训练DALL·E。

这其中,DALL·E以单数据流的形式,一次性接收1280个字符(token),其中256个字符分配给文字,其余的1024个则分配给图像。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

DALL·E将对这些输入信息进行建模,利用自注意力层的注意力遮罩,确保每一个输入的图像字符,都与所有输入的文字字符关联。

然后DALL·E将根据文本,通过最大似然估计,逐个字符生成图像。它不仅能从文字中,生成一整幅草图,还能重新生成图像中的任何一块矩形区域。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

这就完了?

当然没有,我们最终看到的作品,其实只是DALL·E创作的一部分,即“优秀作品选”

也就是说,还需要一个网络CLIP,来对它生成的这些作品进行排名、打分。

越是CLIP看得懂、匹配度最高的作品,分数就会越高,排名也会越靠前。

[[374135]]

这种结构,有点像是利用生成对抗文本,以合成图像的GAN。不过,相比于利用GAN扩大图像分辨率、匹配图像-文本特征等方法,CLIP则选择了直接对输出进行排名。

据研究人员表示,CLIP网络的最大意义在于,它缓解了深度学习在视觉任务中,最大的两个问题。

首先,它降低了深度学习需要的数据标注量。相比于手动在ImageNet上,用文字描述1400万张图像,CLIP直接从网上已有的“文字描述图像”数据中进行学习。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

此外,CLIP还能“身兼多职”,在各种数据集上的表现都很好(包括没见过的数据集)。但此前的大部分视觉神经网络,只能在训练的数据集上有不错的表现。

例如,CLIP与ResNet101相比,在各项数据集上都有不错的检测精度,然而ResNet101在除了ImageNet以外的检测精度上,表现都不太好。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

具体来说,CLIP用到了零样本学习(zero-shot learning)、自然语言理解和多模态学习等技术,来完成图像的理解。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

例如,描述一只斑马,可以用“马的轮廓+虎的皮毛+熊猫的黑白”。这样,网络就能从没见过的数据中,找出“斑马”的图像。

最后,CLIP将文本和图像理解结合起来,预测哪些图像,与数据集中的哪些文本能完成最好的配对。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

此次生成的Demo图像,正是从512个样本中,用CLIP选出的前32个样本。研究人员强调,整个过程他们全程没有参与

有哪些初步效果?

此次上线的Demo,大致分成这几类效果。

控制变量,修改物体的属性(数量、颜色)。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

甚至,还可以加上个年代属性。输入文字:电话。

[[374136]]

那这个电话放在未来呢?竟然会是这个亚子。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

同时控制多个对象。比如,戴红色帽子,黄色手套,蓝色衬衫和绿色裤子的企鹅。

说实话,要换成是我,我一个也画不出来。(手动裂开)

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

推断细节。正如上文举的例子,“沐浴在朝阳中的田间水豚”。

单从文字上看,还有很多细节需要考究:水豚位置,阴影有无,绘画风格。但这些,似乎都没有难到DALL·E

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

大佬们纷纷给出好评

对于OpenAI这个新鲜出炉的DALL·E,大佬们也纷纷发表了自己的看法。

Keras创始人@François Chollet表示,这看起来非常酷,尤其是“图像生成”部分。

从原理上来看,应该就是GPT-3在文本合成图像方向上的扩展版。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

OpenAI的CTO Greg Brockman在转发DALL·E后,更是立刻获得了1.4k的赞。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

英伟达的机器学习专家Ming-Yu Liu,也送上了自己的祝福。

他表示,这样的模型在文本转图像的能力上,简直超乎想象。

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

当然,也有对这种方法的限制感到困惑的学者。

来自哈佛的助理教授Tomer Ullman,在对DALL·E的能力表示惊叹时,也提出了对于模型泛化能力限制的疑惑。

他认为,如果能生成“绿方块上的红方块”,模型理应也能生成“蓝方块上的绿方块上的红方块”?

GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好

希望这样的模型,能在提升泛化等能力后,真正被用来减轻设计师们的负担。

当然,如果再开一开脑洞的话,应用前景可能不止于减轻负担。

如果效果足够好,还要什么乙方设计师?

以及像动画、影视等领域,是不是未来剧本一放,AI就能给你出成果了?

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2020-11-09 08:55:10

Python 开发AI

2022-12-29 13:32:05

AI发展

2023-03-01 16:15:16

2020-04-06 21:24:08

Windows 10Windows系统更新

2023-03-30 13:47:11

AI

2023-04-07 09:53:02

量子AI

2021-07-19 10:56:36

GPE-3OpenAI微软

2024-04-01 00:50:00

吴恩达智能体

2023-02-14 08:00:00

人工智能GPT-3语言模型

2022-02-08 15:55:44

人工智能新冠吴恩达

2024-04-26 12:37:57

AI训练

2017-12-15 12:44:02

2021-04-23 10:55:52

人工智能深度学习

2021-03-23 15:21:00

人工智能机器学习技术

2017-03-22 20:18:04

百度人工智能吴恩达

2021-03-15 09:30:22

量子技术Nature

2023-06-08 15:33:31

人工智能GPT-3

2022-06-01 16:47:53

AI模型开源

2022-06-06 12:53:17

吴恩达AI机器学习

2021-07-13 17:38:49

算法语言模型GPT-4
点赞
收藏

51CTO技术栈公众号