AI.x社区

什么是混合专家模型MoE呢？混合专家模型MoE是一种能让大型语言模型（LLM）质量变好的技术。它主要由两部分组成：专家——现在每个前馈神经网络（FFNN）层都有好多个“专家”，每次可以用其中一部分。“专家”一般也是前馈神经网络。门控网络——它能决定把哪些tokens送到哪些专家那儿。在带混合专家模型MoE的大型语言模型的每一层，都能看到这些有点专门作用的专家:要知道，这里的‘专家’可不是像‘心理学’‘生物学’这种特定...

1.扩散模型研究现状1.1定义与基本原理扩散模型是一种深度生成模型，其灵感来源于非平衡热力学。它通过定义一个马尔可夫链，逐渐向真实数据中添加随机噪声（前向过程），然后学习反向扩散过程（逆扩散过程），从噪声中构建所需的数据样本。扩散模型包括两个主要步骤：前向扩散过程和反向去噪过程。在前向扩散过程中，模型逐步向数据添加噪声，直到数据完全转化为噪声；在反向去噪过程中，模型从纯噪声开始，逐步去除噪声，恢复出...

一、强化学习基础概述强化学习是机器学习的一个分支，核心在于智能体（agent）与环境（environment）的交互。智能体执行动作（action），环境随之反馈奖励（reward）和新的状态（state）。智能体的目标便是通过不断试错，学习到能最大化长期累积奖励的策略（policy）。大语言模型的预训练依赖海量无监督文本数据，构建起庞大的参数空间来捕捉语言规律。然而，这一过程存在诸多短板：缺乏任务针对性：预训练后的模型像是个“知识...

说到Transformer，就不能不提它的好搭档——LayerNormalization（LayerNorm），简称LN。你可能要问，为啥Transformer要用LN而不是BatchNormalization（BN）呢？这背后可是有大学问的。在聊“二选一”的问题前，我们先介绍下什么是LayerNormalization？什么是BatchNormalizationLayerNormalization（层规范化）LayerNormalization（简称LN），是一种在深度学习中使用的规范化技术，由JimmyLeiBa和JamieRyanKiros等人在2016年提出...

1、监督学习今天我们来聊聊机器学习中的那些“监督”的事儿。你知道吗？在机器学习的江湖里，有那么几种学习方式，它们各自有着不同的门派和绝学。咱们今天就先从“监督学习”开始说起。1.1来源与定义监督学习，这个名字听起来是不是有点像咱们上学时老师手把手教我们做题的感觉？其实，它的原理还真有点儿类似。在机器学习中，监督学习是一种需要“老师”（也就是我们人类）提供标准答案来训练模型的方法。这种学习方式最早可...