AI.x社区

1.Kimik1.5:ScalingReinforcementLearningwithLLMs语言模型预训练时，通过预测下一个词来提升计算量的方法效果不错，可训练数据量却限制了它的进一步发展。强化学习（RL）的拓展则为人工智能持续进步提供了新途径，让大语言模型（LLMs）有机会通过学习探索扩充训练数据。不过，之前相关研究成果都不太理想，没有特别突出的。基于这样的情况，我们来分享Kimik1.5的训练过程。这是我们新研发的多模态LLM，使用RL训练。我们会讲讲R...

1.算法介绍朴素贝叶斯是一种基于贝叶斯定理的分类算法,广泛应用于文本分类、垃圾邮件过滤、情感分析等领域。它是一种简单但非常有效的分类方法,特别适用于高维度特征空间的分类问题。朴素贝叶斯分类器的"朴素"来源于它对特征之间独立性的假设。尽管这个假设在现实中往往不成立,但该算法在许多实际应用中仍然表现出色。2.算法原理3.案例分析我们使用著名的鸢尾花(Iris)数据集来演示朴素贝叶斯分类器的应用。首先建立朴素贝叶斯分...

1.MiniMax01:ScalingFoundationModelswithLightningAttention我们推出了MiniMax01系列，包括MiniMaxText01和MiniMaxVL01。这两款产品不仅性能可与顶尖模型相媲美，而且在处理更长文本上下文方面具备卓越能力。其核心技术是LightningAttention及其高效的扩展方法。为充分发挥计算能力，我们将其与混合专家（MoE）技术相结合，打造出拥有32个专家模块、共计4560亿参数的模型，每个Token激活459亿参数。针对MoE和闪电注意力机制，...

1.PersonalizedGraphBasedRetrievalforLargeLanguageModels随着大语言模型（LLMs）的演进，它们提供个性化和上下文相关响应的能力具有改变用户体验的潜力。然而，现有的个性化方法通常仅依赖用户历史来增强提示，这在冷启动场景或数据稀疏的情况下限制了其有效性。为了克服这些限制，我们提出了一种基于图的个性化检索增强生成（PGraphRAG）框架，该框架利用用户中心的知识图来丰富个性化。通过直接将结构化的用户知识融入检索...

量化已成为压缩大语言模型（LLMs）的最有效方法之一。然而，现有的量化方案仍然存在不可忽视的准确性下降或系统效率低下的局限性。在本文中，我们全面分析了量化的一般原则对准确性、内存消耗和系统效率三角关系的影响。我们提出了MixLLM，这是一种基于输出特征之间的混合精度量化的方法。MixLLM从全局视角识别高显著性的输出特征，而非仅在单层内部，有效地为最需要的输出特征分配更大的位宽，从而在低内存消耗的情况下实现良...

1.VidTok:AVersatileandOpenSourceVideoTokenizer将视频内容编码为紧凑的潜在token已经成为视频生成和理解中的一个基本步骤，这是为了应对像素级表示中固有的冗余问题。因此，随着以视频为中心的研究日益重要，对高性能、开源视频token化工具的需求也在不断增长。我们推出了VidTok，这是一种多功能的视频Tokenizer，在连续和离散token化方面都提供了最先进的性能。VidTok相较于现有方法引入了几个关键改进：模型架构方面采用了...

1.VideoEspresso:ALargeScaleChainofThoughtDatasetforFineGrainedVideoReasoningviaCoreFrameSelection大型视觉语言模型（LVLMs）的进步显著提升了多模态理解能力，但在视频推理任务中仍面临挑战，主要原因是高质量、大规模数据集的缺乏。现有的视频问答（VideoQA）数据集往往依赖于成本高昂且粒度不足的手动标注，或者使用会产生冗余帧分析的自动构建方法，这限制了它们在复杂推理任务中的可扩展性和有效性。为了解决这些挑战...

1.ReverseThinkingMakesLLMsStrongerReasoners逆向思维在人类推理中扮演着至关重要的角色。人们不仅可以从问题推导出解决方案，还可以反过来从解决方案推导出问题。这种双向思考方式往往能提高整体的推理性能，因为它允许前后思维之间的一致性检查。为了使大型语言模型（LLM）具备逆向思维能力，我们引入了逆向增强思维（RevThink）框架，该框架由数据增强和学习目标组成。在RevThink中，我们通过收集教师模型提供的结构化正向...