回复
怎么设计一个自己的大模型？设计一个大模型需要哪些能力？ 原创
“ 自己设计并实现一个大模型，才能对大模型技术有更加深刻的体会”
对学习大模型技术的人来说，大家都想体验自己训练和微调一个模型，但受限于自身条件，可能很多人无法达成这个目的；但不知道有人是否思考过，能否自己设计一个模型，根据自己的想法去落地一个大模型。
当然，这个大模型也不一定非要体积特别大，也可以是一个参数规模较小的模型。那么应该怎么实现它呢？
设计一个大模型的思路
怎么设计一个大模型，不知道大家有没有思考过这个问题，就是自己从零开始，一步一步地设计并完善一个模型。
那具体应该怎么做呢？
对有过产品开发经验的人来说，设计与开发一个产品，一般会有一个完善的流程；因此，设计一个大模型也不例外。
设计一个大模型首先要做的就是需求采集，简单来说就是你想要一个什么样的大模型？ 也可以说你想让这个大模型实现什么样的功能？
比如让这个模型实现一个分类任务，又或者让它能够回答问题，总结会议等；不要一上来就想做那么大，那么复杂；先从一个小功能开始，去了解一个模型的实现过程。
有了需求之后，还要做什么？做需求评审，也就是说这里面哪些需求是合适的，哪些是不合适的；比如功能上是否有冲突，技术上是否能实现等等。
当然，更多关于产品开发流程的内容这里就不多说了；我们今天主要讨论的是技术问题。
有了需求之后，我们需要找到一个合适的机器学习模型；比如决策树，支持向量机，神经网络模型等。
我们就以神经网络模型来说，是选择一个现有的模型架构，比如Transformer，BERT，RNN等；还是自己设计一个新的架构模式，当然根据大部分人的水平来看，还是选择现有的架构比较靠谱一点。
所以，这一步我们需要根据自己的需求选择一个能够实现需求的神经网络架构模型。
ok ,现在需求确定了，神经网络模型有了；那么怎么把这个神经网络架构与自己的需求结合起来？
比如说，要想实现你的需求，需要设计一个多少层的神经网络？每个网络层的作用是什么？ 应该实现哪些功能，用哪些算法去实现？可能存在哪些问题？
比如说卷积神经网络架构，那几层需要对图片进行卷积，卷积参数有哪些？卷积到什么程度等等。
再有，输入层怎么设计，输出层怎么设计？
神经网络模型的第一层就是输入层，它需要接收和处理来自外部的训练数据和用户数据；因此第一层主要的任务就是数据处理。
神经网络模型的最后一层就是输出层，输出层的作用是什么？
输出层的作用是把神经网络处理之后的数据转换为需要的格式，比如文字，图片，视频等多种格式的数据；而在神经网络设计完成之后，与用户交互的只有输入层与输出层，中间的多层网络就是一个黑盒模型，对用户来说是完全不可见的。
好，现在神经网络架构有了，神经网络也有了，输入输出层也有了；那么，怎么设计损失函数？因为损失函数是模型训练的重要环节之一；有了损失函数，模型在训练过程中才知道不同的参数应该训练到什么程度。
有了损失函数之后，还需要有激活函数，激活函数又应该怎么设计？
所谓的激活函数，就是神经网络中神经元是否会向下一个神经元传递“突触”；其实说白了，激活函数就是正向传播的一种实现手段，正向传播的过程中，激活函数发挥着不可替代的作用。
ok，经过以上的努力，一个神经网络模型的雏形已经基本具备了；但其中还少了一个环节，那就是反向传播。
反向传播算法可以说是神经网络模型中非常重要的一个节点，没有反向传播，大模型就无法做到参数调整，那么预训练就成了一个彻头彻尾的笑话。所以，反向传播也是一个模型必不可少的一个环节。
当然，上面说的这些都是纯理论方面的东西，也就是设计一个神经网络的基本步骤；读者也可以根据以上步骤，自己思考实现一个神经网络模型。
但理论毕竟只是理论，任何天上飞的理念都要有落地的实现；即使选择了合适的模型架构，也设计好了神经网络模型，输入层，输出层，激活函数，损失函数等；但具体怎么实现，用哪种算法实现，是否还能进行优化？
这时用户就需要根据自己的需求与存在的问题进行架构和技术上的调整或优化。
总之，设计和实现一个模型是一家大模型服务公司的核心技术，也是其立足的根本；当然，理论是一回事，现实是另一回事，即使使用同样的模型架构，可能在不同的企业会得到不完全相同的结果。
比如，全世界有很多家做模型服务的企业都在搞Transformer模型，但能做到像openAI那么强的却没几个。
而且，真正从事大模型设计与实现的人，大部分都具备较强的数学功底；原因就在于大模型就是通过数学对人脑进行的抽象。
本文转载自公众号AI探索时代 作者：DFires
©著作权归作者所有，如需转载，请注明出处，否则将追究法律责任
赞
收藏
回复
相关推荐
