解释生成式人工智能

快速浏览一下头条新闻就会发现，如今生成人工智能似乎无处不在。事实上，其中一些标题实际上可能是由生成人工智能（如OpenAI的ChatGPT）撰写的，这是一个聊天机器人，展示了一种近乎人类写作的不可思议的能力。

但当人们说“生成人工智能”时，他们真正指的是什么呢？

在过去几年生成人工智能的兴起之前，当人们谈论人工智能时，通常是在谈论能够根据数据进行预测的机器学习模型。例如，这些模型通过数百万个示例进行训练，以预测某个X射线是否显示出肿瘤的迹象，或者某个借款人是否可能违约。

生成人工智能可以被看作是一种机器学习模型，它被训练用于创建新数据，而不是对特定数据集进行预测。生成式人工智能系统能够学习生成更多看起来像它所训练的数据的对象。

麻省理工学院电气工程和计算机科学副教授，计算机科学与人工智能实验室（CSAIL）成员Phillip Isola说：“当涉及到生成人工智能和其他类型的人工智能的实际机制时，区分可能会有点模糊。通常，相同的算法可以同时用于两者，”

尽管ChatGPT及其类似产品发布时引起了很大轰动，但这项技术本身并不是全新的。这些强大的机器学习模型借鉴了超过50年的研究和计算进展。

复杂性的增加

生成人工智能的早期例子是一种更简单的模型，称为马尔可夫链。这项技术以安德烈·马尔可夫（Andrey Markov）命名，他是一位俄罗斯数学家，于1906年引入了这种统计方法来模拟随机过程的行为。在机器学习中，马尔可夫模型长期以来一直用于下一个单词的预测任务，例如电子邮件程序中的自动完成功能。

在文本预测中，马尔可夫模型通过查看前一个单词或前几个单词来生成句子中的下一个单词。但由于这些简单模型只能回望到那么远，它们在生成可信文本方面并不擅长，麻省理工学院电气工程和计算机科学Tommi Jaakkola 教授解释说，他也是CSAIL和数据、系统与社会研究所（IDSS）的成员。

“我们在过去的十年之前就已经开始生成东西，但这里的主要区别在于我们可以生成的对象的复杂性以及我们可以训练这些模型的规模，”他解释说。

就在几年前，研究人员往往专注于找到一种机器学习算法，以最好地利用特定数据集。但这个焦点发生了一些变化，许多研究人员现在使用更大的数据集，可能包含数亿甚至数十亿的数据点，以训练能够取得令人印象深刻结果的模型。

ChatGPT及其类似系统的基础模型的工作方式与马尔可夫模型非常相似。但一个重大区别在于ChatGPT更大、更复杂，具有数十亿个参数。而且它经过了大量的数据训练，本例中主要是互联网上的大量公开文本。

在这庞大的文本语料库中，单词和句子以特定的依赖关系序列出现。这种重复帮助模型理解如何将文本划分为具有一定可预测性的统计块。它学习这些文本块的模式，并利用这一知识提出可能出现的下一步。

更强大的架构

尽管更大的数据集是导致生成人工智能蓬勃发展的一个催化剂，但各种重大研究进展也导致了更复杂的深度学习架构。

在2014年，蒙特利尔大学的研究人员提出了一种称为生成对抗网络（GAN）的机器学习架构。GAN使用两个协同工作的模型：一个学习生成目标输出（如图像），另一个学习区分真实数据和生成器输出。生成器试图欺骗鉴别器，并在此过程中学会生成更逼真的输出。图像生成器StyleGAN就是基于这类模型的。

一年后，斯坦福大学和加利福尼亚大学伯克利分校的研究人员引入了扩散模型。通过迭代地改进其输出，这些模型学会生成新的数据样本，这些样本类似于训练数据集中的样本，并被用于创建看起来逼真的图像。扩散模型是文本到图像生成系统稳定扩散的核心。

2017年，谷歌的研究人员推出了 Transformer架构，该架构后来被用于开发大型语言模型，如驱动ChatGPT的模型。在自然语言处理中， Transformer将文本语料库中的每个单词编码为Token，然后生成一个关注图，捕捉每个Token与所有其它Tokens的关系。这个关注图帮助 Transformer在生成新文本时理解上下文。

这只是许多可以用于生成人工智能的方法之一。

系列应用

各种方法的共同之处在于它们将输入转换为一组Tokens，这些Tokens是数据块的数值表示。只要您的数据可以转换为这种标准的标记格式，理论上，您可以应用这些方法生成看起来相似的新数据。

Isola表示：“您的效果可能有所不同，这取决于您的数据有多嘈杂以及信号有多难提取，但它确实越来越接近通用CPU可以接收任何类型数据并以统一方式开始处理的方式。” 这为生成人工智能开辟了大量的应用领域。

例如，Isola的研究团队正在使用生成人工智能创建合成图像数据，这些数据可以用于训练另一个智能系统，例如通过教计算机视觉模型如何识别物体。

Jaakkola 的研究团队正在使用生成人工智能设计新颖的蛋白质结构或指定新材料的有效晶体结构。他解释说，就像生成模型学习语言的依赖关系一样，如果向其展示晶体结构，它可以学习使结构稳定且可实现的关系。

麻省理工学院电气工程和计算机科学系和IDSS和信息与决策系统实验室的成员 Andrew和Erna Viterbi 教授Devavrat Shah表示，尽管生成模型可以实现令人难以置信的结果，但它们并不是所有类型数据的最佳选择。对于涉及对结构化数据进行预测的任务，例如电子表格中的表格数据，生成人工智能模型往往被传统的机器学习方法超越。

引起警示

生成人工智能聊天机器人现在正在呼叫中心中用于回答人类顾客的问题，但这个应用凸显了实施这些模型可能存在的一个潜在问题 — 工人被替代。

此外，生成人工智能可能继承和传播存在于训练数据中的偏见，或者放大仇恨言论和虚假陈述。这些模型有能力抄袭，并且可以生成看起来像是由特定人类创作者制作的内容，这引发了潜在的版权问题。

另一方面，Shah提出，生成人工智能可以赋予艺术家们力量，他们可以使用生成工具帮助他们制作可能在其他情况下无法制作的创意内容。

在未来，他认为生成人工智能将改变许多学科的经济学。

Isola看到生成人工智能的一个有希望的未来方向是在制造领域的应用。他认为，与其让一个模型制作一张椅子的图像，也许它可以生成一张可以生产的椅子计划。

他还看到生成人工智能系统在开发更智能的“智能体”方面有未来的用途。

Isola表示：“这些模型的工作方式与我们认为人脑的工作方式有所不同，但我认为也存在相似之处。我们有能力在脑海中思考和梦想，提出有趣的想法或计划，我认为生成人工智能是赋予代理执行这些任务的工具之一。”

本文转载自 ​​MoPaaS魔泊云​​，作者： Adam Zewe