回复
DeepSeek简明解析，10分钟速通DeepSeekV1~V3核心技术点！
最近，DeepSeek在国际上很火，一方面其效果比肩非开源模型ChatGPT，另一方面其运行成本很低。可以说，DeepSeek是目前为止最先进的大模型之一。
今天这篇文章，就带大家梳理一下从2024年至今DeepSeek发布的V1版本到V3版本的核心技术点，看看DeepSeek采用了哪些技术构建了最先进的大模型，每一次的升级基本都伴随着训练数据的优化、模型结构的升级、优化方式的更新。
为了方便大家阅读，本文会用比较简洁的语言进行主要技术的介绍，一些其他相关的技术细节深度解析，后续也会陆续进行更新。
1.DeepSeek V1
DeepSeek V1是2024年1月份发布的第一版DeepSeek模型，包含DeepSeek的核心构建方式，核心技术点分为数据端、模型端、优化端、对齐4个部分，前面3个部分处于模型的预训练阶段，对齐阶段使用SFT进行人类风格对齐。
数据端：在数据的处理上，包括去重、过滤、混合3个步骤，目的是构建一个多样性强、纯净的高质量预训练数据。在去重阶段，对于Common Crawl数据集进行全局的去重过滤，可以提升去重比例。在过滤阶段，构建了一套详细的包括文法语法分析在内的评估流程，去除低质量数据。在混合阶段，对不同domain的数据进行采样，平衡不同domain数据量，让数据量较少的domain也能有足够的样本占比，提升数据集多样性和全面性。
此外，在数据处理方面，使用Byte-level Byte-Pair Encoding (BBPE)作为tokenizer，相比BPE是在字符粒度进行字符串分割，BBPE在字节粒度进行处理，整体算法逻辑和BPE类似。
整体参与预训练的token数量为2 trillion。在V2和V3中，训练的token数量不断上升，V2为8 trillion，V3为14 trillion。
模型端：模型的主体结构基本沿用LLaMA。LLaMA主体就是Transformer结构，主要差异包括RMSNorm的Pre-normalization（每层Transformer输入使用RMSNorm进行归一化）、激活函数采用SwiGLU、位置编码采用Rotary Embeddings。模型包括7B和67B两种尺寸，67B尺寸的Transformer中的attention采用了Grouped Query Attention代替最普通的self-attention降低inference开销。Grouped Query Attention每组query共用同一组key和value。
优化端：使用multi-step learning rate代替LLaMA中的cosine learning rate schedule，主要原因是实验发现两者虽然最终收敛到的loss差不多，但是前者在连续学习上loss能够保证一致性，连续学习更加方便。先用2000个step的warmup将学习率提升到最大值，然后在训练完80%的训练数据后将学习率降低到31.6%，在训练完90%的训练数据后进一步降低到10%。
对齐：使用Supervised Fine-Tuning、DPO两种方式进行预训练模型的finetune，进行风格对齐。Supervised Fine-Tuning使用120w搜集到的SFT数据（一些根据指令给出答案的文本，由人类标注的高质量数据，帮助预训练模型迁移人类风格）进行finetune。DPO是针对之前ChatGPT中基于强化学习的RHLF风格迁移的一种升级，不用强化学习，只使用一个指定对应的两个答案之前的相对偏好关系作为损失函数加入到模型中。
2.DeepSeek V2
DeepSeek V2最核心的2点改动都在模型结构上，一个是提出了一种Multi-head Latent Attention提升了inference效率；另一个是构建了基于DeepSeekMoE的语言模型结构。
Multi-head Latent Attention：MLA的主要目的是减少KV缓存占用的空间。KV缓存是大模型都会使用的技术，在inference阶段，每一个token的输出都要和历史所有token计算attention，每次新增token都有很多重复计算，因此可以将前面token计算出的key和value缓存起来。但是直接缓存key和value占用较大的空间，因此MLA对KV进行了一个低维映射，只存储这个低维的向量，节省了缓存存储空间。
DeepSeekMoE：MoE是目前大模型在探索应用的一项技术，基础的MoE将原来的每个token的单个FFN层变成多个并行的FFN层（对应多个expert），并根据输入生成一个路由到各个FFN的打分，选择topN个专家，实现在单token运算量没有显著提升的前提下，扩大模型的参数空间的目的。如下图a中，即是一个激活2个专家的MoE。
而DeepSeekMoE相比MoE有2个核心优化。一个是把Expert变多了（文中称为Fine-Grained Expert），其实就是把原来每个Expert的FFN维度调小，增加Expert数量，并且最终激活的Expert数量也变多。另一个就是增加了几个所有token都走的公用Expert，通过让所有token都走这些Expert，让这些Expert提取通用信息，其他Expert就能更专注于提取差异化的信息。
3.DeepSeek V3
DeepSeekV3在模型结构上的核心优化，一方面是对DeepSeekMoE中的多专家负载均衡问题，提出了一种不需要辅助loss就能实现的解决方案，相比使用辅助loss提升了模型性能；另一方面是引入了Multi-Token Prediction技术，相比原来每次只能预测一个token，显著提升了infer的速度。
Auxiliary-Loss-Free Load Balancing：MoE的一个核心问题是有可能会出现坍缩问题，即训练到最后，激活的总是那么几个Expert，没有实现各个Expert的均衡，从而失去了多专家的意义。一般的解决方法会显示引入一个负载均衡loss（DeepSeekV2，以及一些其他MoE的做法），但是显示引入一个和目标不相关的loss会影响训练效果。因此，DeepSeek V3采用了无需loss的负载均衡方法，在每个Expert打分增加一个这个相应的bias项，bias项只影响路由不影响后续的Expert加权求和计算，每个step都会监控各个Expert的负载均衡情况，对于过载的Expert降低bias项减少其相应的激活数量，对于比较稀疏的Expert增大其bias项提升激活其的样本比例。
Multi-Token Prediction：语言模型都是逐个预测的，每次将当前预测结果作为最新的一个输入，再次预测下一个。改成多token预测，一方面可以显著提升infer的速度，另一方面也可以让模型在生成后续token的时候有一个全局性，提升生成效果，对训练数据利用的也更加充分，加速收敛。
具体做法为，在训练阶段，除了原来的主模型外，还会有几个并行的MTP模块，这些MTP模块的Embedding层和Output Head和主模型共享，内部有一个Transformer层。在主模型预测了next token后，将这个预测token的表征和之前token的Embedding拼接到一起，生成一个新的输入（超出长度的更久远的token被才减掉）。这个拼接好的Embedding输入到第一个MTP中预测next next token。以此类推，将MTP Module1的当前预测token表征和历史token拼接到一起，作为MTP Module2的输入，再预测next next next token。
文中引入Multi-Token Prediction主要为了提升训练效果，inference阶段直接去掉这些MTP模块，也可以引入这些MTP模块提升inference效率。
赞
收藏
回复
相关推荐
