什么是生成式大模型？大模型与生成式大模型的区别？ 原创

​“ 生成式AI或者说AIGC的本质是一种基于概率分布的数据表征技术 ”

最近一段时间一直在做AIGC(人工智能生成内容)方面的应用，而AIGC属于生成式AI的范畴；刚开始只是把这些生成式AI拿过来用一下，但随着对大模型了解的加深，突然发现生成式AI好像也没有那么简单。

比如说，生成式AI是怎么实现的？可能有人会这么回答，是基于Transformer等架构实现，基于概率分布的一种模型。当然，这么说好像也没错，但非生成式AI又是怎么实现的呢？

生成式AI

什么是生成式AI？

简单来说，能够根据输入输出新的内容的AI就是生成式AI；但生成式AI是怎么做到的呢？

有很多人会把大模型当作生成式AI，但事实上生成式AI和大模型并不是一回事；生成式AI属于更宽泛的一个范畴，任何能够实现内容生成的AI技术都属于生成式AI。

但大模型生成内容只是生成式AI的一种实现方式，除了大模型之外还有其它的方式可以实现生成式AI；比如，隐马尔可夫模型，生成对抗网络等。

那生成式AI是怎么实现的呢？它的技术原理是什么？我们都知道模型在设计完成之后，使用训练数据进行训练，就可以让模型生成相关领域的内容；但这个模式是怎么设计实现的呢？

严格来说，现在的生成式AI都是基于概率分布实现的；生成式AI主要分为两个部分：

学习数据分布：通过训练数据学习输入特征X和标签Y的联合概率分布P(X, Y)

生成新样本：  通过条件概率P(X|Y)或P(Y|X)，生成新的数据样本

所以，简单来说生成式AI就做了两件事，学习旧数据，生成新样本；大模型的训练就是学习的过程，而回答问题或生成内容就是在生成新的样本。

但具体怎么学旧数据，又怎么生成新样本，这是一个需要解决的问题；而目前的生成式大模型大都是基于Transformer架构，实现的一种数学模型。

所以，生成式AI是一种通过学习联合概率分布，从而能够生成新的数据样本；它不仅能够分类，而且能生成与训练数据相似的样本，而这也是AIGC的基础，没有它AIGC就是水中月，镜中花。

这也解释了，为什么大模型需要大量的线性运算，原因就在于只有线性的概率分布，才有预测的可能性；毕竟大模型需要就是有迹可循。

ok ，既然前面说了生成式大模型是基于概率进行预测，那怎么才能用概率去表征训练数据呢？也就是说大模型学习的原理是什么样的？ 

大模型训练或者说学习的过程，就是对训练数据的表征过程，通过对训练数据的表征，大模型参数就可以记录不同数据之间的关系，比如用向量进行表示。

通过计算不同数据之间的向量关系，以此来表示数据之间的概率关系等。

因此，以目前市面上各种各样的AIGC产品来看，比如文字，图像，视频，音乐，代码生成等模型；都是通过一种数学模型和算法，来表征这些数据之间的关系，也就是空间向量的坐标关系。

通过这些关系，大模型就能够去理解用户的输入，然后根据输入生成新的数据样本。

所以，生成式AI的本质或者说AIGC的本质，是通过对某种数据特征的学习和描述；然后再根据这些数据特征，去生成相似的新的数据。

举例来说，小孩子第一次看到照片，他也不懂得摄像的技术，也不知道什么是像素点；但如果你告诉他，用笔这样，那样，再这样就可以画出一幅画；那么他就会模仿你这个行为去画一幅画，虽然他可能并不知道这是一幅画。

而这就是数据的表征，虽然大模型并不知道什么是像素点，什么是采光；但它能根据不同图像之间的区别，记住这样那样再这样就可以生成一幅画。

所以说，生成式AI或者说生成式大模型的本质是一种数据表征技术，然后根据表征特点的概率，生成一个最符合当前概率的内容。

而生成式AI最大的作用就是——创造，通过这种方式可能会让AI具备远超人类本身的创造力。

​

本文转载自公众号AI探索时代 作者：DFires

原文链接：​​https://mp.weixin.qq.com/s/U7rqshnnaOQgVntnkTUR3Q​​