AI.x社区

刚刚，DeepSeek放出了开源第二弹——DeepEP！它拥有高效优化的alltoall通信，并具有以下特点：内部节点和节点间均支持NVLink和RDMA高吞吐量内核用于训练和推理预填充低延迟推理解码内核本地FP8调度支持可灵活控制的GPU资源，用于计算通信重叠具体来说，DeepEP是一个专为混合专家系统（MoE）和专家并行（EP）设计的通信库。它提供高吞吐量和低延迟的GPU全互联内核，也被称为MoE的「调度」和「组合」操作。该库还支持低精度运算，...

01、概述在人工智能领域，知识检索与处理方法一直在不断进化。过去，基于检索增强生成（RAG，RetrievalAugmentedGeneration）的系统长期占据主流，但如今，基于缓存增强生成（CAG，CacheAugmentedGeneration）的方法正在显示出其颠覆传统的潜力，逐渐成为新一代知识处理的主力军。那么，RAG和CAG到底有什么区别？为什么CAG被认为是未来的方向？让我们深入探讨这两种方法，了解它们各自的优缺点，以及为什么CAG可能成为未来知识...

01、概述当第一次接触大型语言模型（LargeLanguageModels,LLMs）时，既好奇又兴奋。这些模型能够生成文本、总结文档，甚至翻译语言的潜力让我们眼前一亮，但与此同时，也会感到无从下手——面对如此强大的技术，又该从哪里开始呢？今天，想和大家分享五个对学习LLMs影响深远的Python库，希望它们也能为你的AI旅程提供启发。02、学习LLMs相关的Python库1）HuggingFaceTransformers：LLM入门的最佳选择如果你刚开始接触LLMs，那么...

文章链接：https:arxiv.orgpdf2502.13995项目链接：https:fantasyamap.github.iofantasyid亮点直击首次尝试从单视角参考图像中提取3D面部先验，以增强面部结构的稳定性，从而在整个视频生成过程中有益于身份（ID）保持。通过采用多视角面部增强策略，能够显著增强对广泛视角下2D面部外观的感知，从而有益于与面部表情和头部姿势相关的运动动态。设计了一种可学习的层次化特征引导机制，以促进对身份保持和动态建模的精确控制，...

今天凌晨2点，著名大模型平台Anthropic发布了首个双思维模型——Claude3.7Sonnet。Claude3.7提供了标准和扩展两种思考模式：标准思考是无需进行复杂的推理过程，就能立刻提供答案，例如，当用户询问“巴黎的埃菲尔铁塔有多高？”，会迅速给出324米。扩展思维则提供复杂的推理过程，会展示详细的推理思维链，用户可以清晰地看到模型是如何逐步分析问题、应用逻辑，非常适合数学、生物等科研领域，还能通过API精准控制模型的思考...

谷歌研究院发布一项新的研究Titans。通过引入全新的神经长期记忆模块，三头协同架构与硬件优化设计等模块，在算力仅增加1.8倍的情况下，将大模型的上下文窗口扩展至200万token。在语言建模、基因组分析、长时序预测等任务中全面超越现有Transformer及线性循环模型。目前，以Transformer为核心的预训练大模型面临一个悖论：依赖注意力机制精准建模依赖关系，但受限于二次方计算复杂度，上下文窗口难以突破数万token。即便是线性T...

译者刘汪洋审校重楼大语言模型(LLMs)在技术发展上取得了显著突破。OpenAI的o3、Google的Gemini2.0和DeepSeek的R1展现出了卓越的能力：它们能处理复杂问题、生成自然的对话内容，甚至精确编写代码。业界常把这些先进的LLMs称为"推理模型"，因为它们在分析和解决复杂问题时表现非凡。但我们需要思考一个关键问题：这些模型是否真的具备推理能力，还是仅仅在规划方面特别出色？这个差异虽然细微，却对理解LLMs的本质至关重要。让我...

引言本文将探讨KVCache如何通过在内存使用和计算时间之间进行巧妙的权衡，使像ChatGPT和DeepSeek这样的语言模型在生成文本时更快。总结11篇最近的研究论文，归纳三大类：token选择、后处理压缩技术和架构重新设计。包括DeepSeek的多头潜在注意力（MLA），这些论文在这一基本思想的基础上，进一步提高了大型语言模型（LLM）推理的时间效率。一、思考为什么文本生成如此缓慢让我们从一个简单的类比开始。想象你在写一个故事，每写...

黄仁勋首度回应DeepSeek？其实不准确！在采访中黄仁勋主动提及的DeepSeek，亲自下场灭火，并称赞到“（R1是）世界上第一个开源推理模型，这太令人兴奋了，全球对我们开源的反响不可思议”！黄仁勋大胆总结说：（有人说R1出现后）我们不再需要进行任何计算了。实际上，情况正好相反！为啥呢？在老黄看来，未来的AI仍然需要三方面的Scaling：预训练“仍然需要严谨，数据量要大，（还要有）多模态数据”后训练的相关学习范式有很多...

DeepSeekR1在其论文（​​​https:arxiv.orgabs2501.12948​​​）引言部分指出，通过蒸馏技术，成功地将大模型的推理能力（比如：DeepSeekR1671B）传递给了更小型化的模型（比如：Qwen7B）。可以看出，蒸馏技术是DeepSeekR1重要的3大创新技术之一，下面详细剖析。1、DeepSeek蒸馏技术深度解读蒸馏(KnowledgeDistillation)是一种将大型复杂模型（教师模型，比如：D蒸馏(KnowledgeDistillation)是一种将大型复杂模型（教师模型，...

今日分享100多个常用的论文指令，希望对大家能带来prompt的启发和帮助...确定主题和标题1.举例说明医疗保健的新趋势，这可能是研究论文中有趣的研究主题。2.分析[插入主题名称]的研究是否存在空白，并提出潜在的研究主题。3.使用定量和定性研究方法推荐研究[插入主题名称]的主题。4.分析主题[插入主题名称]的范围是否足够广泛，并推荐我可以撰写的相关主题。5.比较以下主题，并根据哪些主题具有更大的范围和相关性，帮助我决定...

编辑伊风出品51CTO技术栈（微信号：blog51cto）上周五，DeepSeek刚刚预告了重磅开源周！周一一早，DeepSeek就履行承诺，开源了针对HopperGPU的高效MLA解码内核——FlashMLA！图片根据DeepSeek介绍，FlashMLA内核针对变长序列进行了优化，是已投入生产的核心技术。从DeepSeekV2开始，MLA出现在的所有的DeepSeek大模型里面，是DeepSeek大模型提升效果的非常重要的机制。MLA（MatrixLessAttention）多头潜在注意力，通过数学变换避...

一、RAG系统的背景与挑战在自然语言处理（NLP）领域，大型语言模型（LLMs）如GPT、BERT等已经展现出了强大的文本生成、问答和摘要能力。然而，这些模型也存在一些显著的局限性。•首先，LLMs的知识是静态的，这意味着它们无法及时更新以反映新信息，导致生成的回答可能过时。•其次，LLMs有时会生成听起来合理但事实上错误的回答，这种现象被称为“幻觉”。•最后，LLMs在涉及高级专业领域的知识时，往往缺乏足够的深度。为了应...

一、背景最近几天DeepSeek的NSA以及Moonshot的MoBA受到广泛关注，我也在第一时间看了相关论文。由于最近DeepSeek的火爆，各大平台上也出现了非常多对这两篇文章的介绍，这里不再赘述其袭击，只是简单陈述一下我的一些思考和看法。在看这两篇论文的时候，我们可以发现其很多观点和手段都似曾相识，其他在之前的Quest、SeerAttention（之前也分享过）等论文都有相关介绍。不过，其在工业落地方面提供了更多的可能性，比如Moonshot...

图片在大模型训练领域，显存一直是一个让研究者和开发者头疼的问题。特别是在进行长文本上下文训练时，动辄需要几百GB的显存需求，这让很多研究者望而却步。不过最近，AI基础设施优化团队Unsloth带来了一个重大突破他们推出的新算法可以让GRPO训练所需显存减少高达90%！文章公布了Llama3.1(8B)GRPO在Colab上notebook，见：https:colab.research.google.comgithubunslothainotebooksblobmainnbLlama3.1(8B)GRPO.ipynb1、从510GB...

图片想知道ChatGPT这样的大语言模型是如何炼成的吗？今天带你揭开大模型训练的神秘面纱，看看在数百个GPU上协同训练大语言模型的技术秘密。为什么这很重要？曾几何时，训练大语言模型是少数顶级研究实验室的专利。虽然现在我们可以下载Llama或DeepSeek这样的开源模型，但最具挑战性的部分——训练代码、知识和技术仍然隐藏在复杂性之后。这些关键知识分散在众多论文和私有代码库中，让大多数开发者和研究者望而却步。图片图片深...

RAG增强技术分类来源：https:arxiv.orgabs2402.19473最近一项关于检索增强生成（RAG）的调查总结了三种最新发展的范式：基础RAG高级RAG模块化RAGArepresentativeinstanceoftheRAGprocessappliedtoquestionanswering.Itmainlyconsistsof3steps.1)Indexing.Documentsaresplitintochunks,encodedintovectors,andstoredinavectordatabase.2)Retrieval.RetrievetheTopkchunksmostrelevanttothequestionbasedonsemanticsimilarity.3)G...

（MoBA）大语言模型长文本处理新解法：块注意力混合在自然语言处理领域，高效处理长文本一直是个老大难问题。随着大语言模型在阅读、理解和生成文本方面的能力不断提升，其处理输入的核心——注意力机制，却逐渐成了瓶颈。在典型的Transformer架构里，这种机制要把每个词元（token）和其他所有词元进行比较，这就导致计算成本会随着序列长度的增加呈二次方增长。如今，我们把语言模型应用到长篇文档、多章节书籍、法律文书或是...

今天分享一篇来自上海人工智能实验室、清华大学、哈尔滨工业大学和北京邮电大学联合的一篇文章，标题是：Can1BLLMSurpass405BLLMRethinkingComputeOptimalTestTimeScaling（1B的LLM能否超越405B的LLM？重新思考计算最优的测试时缩放）。这篇文章研究了大型语言模型（LLMs）在「推理阶段通过增加计算量来提高性能的测试时缩放」（TestTimeScaling,TTS）方法。作者们「系统地分析了策略模型、过程奖励模型（PRMs）和问题难度如何...

编辑伊风出品51CTO技术栈（微信号：blog51cto）年初，DeepSeekR1模型的开源让这个低调的技术品牌一炮打响。随着DeepSeek应用的飞速增长，AI巨头正在集体重新审视开源模式的商业价值——这不再只是“赔本赚吆喝”的事情，而是可能带来实实在在的商业回报。DeepSeek带来的竞争压力肉眼可见，连OpenAI的Altman都罕见地改口反思，承认OpenAI在开闭源问题上“站在了历史错误的一端”。Altman甚至在X上发起了投票，询问大家OpenAI的下...