AI.x社区

当前AI在推理能力提升上遇到了诸多瓶颈，这在一定程度上限制了其进一步发展和广泛应用。在传统的AI训练中，模型对大量监督数据的依赖是一个显著问题。监督学习需要大量带有标注的数据来训练模型，使其能够对新的数据进行准确的分类或预测。然而，获取高质量的标注数据往往需要耗费大量的人力、物力和时间。以图像识别为例，为了训练一个能够准确识别各种动物的AI模型，需要人工对大量的动物图像进行标注，标记出图像中动物的种...

最近，国内大模型界可谓是“风起云涌”，kimik1.5和DeepSeekV3这两位“大侠”横空出世，一路“杀疯了”，不断向OpenAI和其他海外大模型的霸主地位发起挑战。这不禁让人想起了那句网络梗：“一山更比一山高，一模更比一模强！”今天，咱们就来好好对比一下这两位国内大模型界的“当红炸子鸡”，看看它们到底有何不同，顺便再和海外顶尖的OpenAIo1对比一下，看看咱们离国际顶尖水平还有多远。接下来，咱们就来详细对比一下这三位...

什么是混合专家模型MoE呢？混合专家模型MoE是一种能让大型语言模型（LLM）质量变好的技术。它主要由两部分组成：专家——现在每个前馈神经网络（FFNN）层都有好多个“专家”，每次可以用其中一部分。“专家”一般也是前馈神经网络。门控网络——它能决定把哪些tokens送到哪些专家那儿。在带混合专家模型MoE的大型语言模型的每一层，都能看到这些有点专门作用的专家:要知道，这里的‘专家’可不是像‘心理学’‘生物学’这种特定...

1.扩散模型研究现状1.1定义与基本原理扩散模型是一种深度生成模型，其灵感来源于非平衡热力学。它通过定义一个马尔可夫链，逐渐向真实数据中添加随机噪声（前向过程），然后学习反向扩散过程（逆扩散过程），从噪声中构建所需的数据样本。扩散模型包括两个主要步骤：前向扩散过程和反向去噪过程。在前向扩散过程中，模型逐步向数据添加噪声，直到数据完全转化为噪声；在反向去噪过程中，模型从纯噪声开始，逐步去除噪声，恢复出...

一、强化学习基础概述强化学习是机器学习的一个分支，核心在于智能体（agent）与环境（environment）的交互。智能体执行动作（action），环境随之反馈奖励（reward）和新的状态（state）。智能体的目标便是通过不断试错，学习到能最大化长期累积奖励的策略（policy）。大语言模型的预训练依赖海量无监督文本数据，构建起庞大的参数空间来捕捉语言规律。然而，这一过程存在诸多短板：缺乏任务针对性：预训练后的模型像是个“知识...

说到Transformer，就不能不提它的好搭档——LayerNormalization（LayerNorm），简称LN。你可能要问，为啥Transformer要用LN而不是BatchNormalization（BN）呢？这背后可是有大学问的。在聊“二选一”的问题前，我们先介绍下什么是LayerNormalization？什么是BatchNormalizationLayerNormalization（层规范化）LayerNormalization（简称LN），是一种在深度学习中使用的规范化技术，由JimmyLeiBa和JamieRyanKiros等人在2016年提出...

1、监督学习今天我们来聊聊机器学习中的那些“监督”的事儿。你知道吗？在机器学习的江湖里，有那么几种学习方式，它们各自有着不同的门派和绝学。咱们今天就先从“监督学习”开始说起。1.1来源与定义监督学习，这个名字听起来是不是有点像咱们上学时老师手把手教我们做题的感觉？其实，它的原理还真有点儿类似。在机器学习中，监督学习是一种需要“老师”（也就是我们人类）提供标准答案来训练模型的方法。这种学习方式最早可...