AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
RAGCache：让RAG系统更高效的多级动态缓存新方案
原创01、概述在当下的AI研究中，检索增强生成（RAG）技术正在逐步提升大型语言模型（LLM）的知识运用能力，帮助它们结合外部知识生成更加准确、符合现实的文本。然而，RAG系统却面临一个无法忽视的瓶颈：庞大的计算和内存需求。每当模型从知识库中获取大量文档来生成内容时，原始文本长度可能会被扩展十倍以上，极大地增加了系统的计算负担和响应时间，从而限制了RAG在实时场景中的应用潜力。为解决这一问题，北京大学和字节跳动的...RAG「混合专家模型」可视化指南：A Visual Guide to MoE
原创 精华编者按：对大语言模型进行扩展的过程中，如何在保持高性能的同时有效控制计算资源消耗？混合专家模型（MoE）作为一种新兴的架构设计方案正在得到越来越多的关注，但它究竟是如何工作的？为什么越来越多的大语言模型都在采用这种架构？这篇文章通过50多张精心绘制的示意图，系统拆解了MoE的核心原理。从最基础的专家网络、路由机制，到负载均衡、容量控制等进阶话题，每个概念都配有直观的可视化讲解。作者还介绍了如何将MoE应用...AILLMsMoE人物造型动画生成最新SOTA！阶跃星辰等提出MikuDance：混合运动建模和混合控制扩散
精华文章链接：https:arxiv.orgpdf2411.08656项目链接：https:kebii.github.ioMikuDance亮点直击提出混合运动建模（MixedMotionModeling），用于在统一的逐像素空间中显式建模角色和相机运动，从而有效地表示高动态运动。利用混合控制扩散（MixedControlDiffusion）隐式对齐角色的形状、姿势和比例与运动引导，从而实现人物造型动画的连贯运动控制。大量实验表明，MikuDance的有效性和泛化能力，相较于最新的方法，能够实现更高质量...AI模型探索 mcdse-2b-v1：全新高效的多语言文档检索模型
原创01、概述在信息时代的浪潮中，各类数据以惊人的速度不断产生，涵盖文档、演示文稿、图像等多种格式。这些信息的多样性为有效检索带来了巨大的挑战。传统的检索模型在处理纯文本查询时表现良好，但面对复杂的多模态内容（如截图或幻灯片）时，却往往力不从心。这对于需要从包含文本和视觉元素的文档中提取信息的企业、研究人员和教育工作者来说，尤为棘手。因此，迫切需要一种能够高效处理这些多样化内容的模型。02、引入mcdse2b...mcdse-2b-v1大语言模型什么是主动学习？
原创如果数据是无标签的，我们很难构建一个监督学习系统。使用无监督技术是一种可行的解决方案，但它们能完成的任务类型有限。另一种可能的方法，是依赖自监督学习。自监督学习是指我们有一个无标签的数据集，但我们通过某种方式能够从中构建一个监督学习模型。这通常依赖于任务的固有属性。例如，ChatGPT自回归地基于当前词预测下一个单词。这样我们就可以简单地将文本左移一位在海量文本上构造训练数据集。输入："Thecatsaton"标...自监督学习主动学习LLM-R：基于RAG和层次化Agent落地案例解析
原创
社区头条在这个由智能设备主导的时代，维护工作的重要性愈发凸显，几乎成了生产活动的守护神。想象一下，当一台精密的机器在深夜突发故障，而维护手册却像天书一样难以理解，这时，交互式电子技术手册（IETMs）就像一束温暖的灯塔，指引着维护人员安全渡过难关。面对从图形用户界面（GUIs）到自然语言用户界面（LUIs）的转变，以及复杂逻辑关系的梳理，传统的IETMs显得有些力不从心。为了应对这一挑战，一个革命性的方法——LLMR应运而...LLM-RRAGAgent一文彻底搞懂自然语言处理 - 总体介绍（Introduction）
原创自然语言处理（NaturalLanguageProcessing,NLP）是人工智能和计算语言学的一个分支，旨在使计算机能够理解和处理人类语言。NLP涵盖了从文本分析到生成文本的广泛任务，其目标是让计算机能够像人类一样理解和交流。Introduction一、NLP的核心技术什么是自然语言处理（NaturalLanguageProcessing,NLP）？自然语言处理是一种利用计算机科学、人工智能和语言学理论来研究和实现计算机对人类自然语言进行理解和处理的技术。NLP就是人...自然语言处理如何使用BART模型和Hugging Face Transformers总结文本？
原创 社区头条若要使用HuggingFace的BART模型总结文本，请加载模型和分词器，输入文本，随后模型就会生成简洁的摘要。BART是一个帮助总结文本的工具。它可以使长文章变得更短，更容易阅读。这有助于你快速找到要点。BART的工作原理是，分析整段文本以理解其上下文。然后，它通过保留重要的部分并删除不太重要的部分来生成摘要。有了BART，你可以总结文章、报告及其他文本。它侧重于关键信息，以创建清晰简洁的版本。HuggingFaceTransformers...BART模型总结文本分词器提示工程中的代理技术：构建智能自主的AI系统
今天，我们将进入一个更加复杂和动态的领域：提示工程中的代理技术。这种技术允许我们创建能够自主决策、执行复杂任务序列，甚至与人类和其他系统交互的AI系统。让我们一起探索如何设计和实现这些智能代理，以及它们如何改变我们与AI交互的方式。1.代理技术在AI中的重要性在深入技术细节之前，让我们先理解为什么代理技术在现代AI系统中如此重要：任务复杂性：随着AI应用场景的复杂化，单一的静态提示已经无法满足需求。代理可...自主AI系统微软五大Agent联手，这下厉害了！
社区头条近期，微软推出了一款创新性的通用MultiAgent框架——MagenticOne。这个开源项目致力于处理各类复杂的开放性任务，涵盖范围包括网络浏览操作、本地文件管理、Python代码编写与执行、市场研究分析以及学术论文撰写等多个方面。该框架由五个核心智能体构成：总体协调的Orchestrator、负责网络任务的WebSurfer、管理文件系统的FileSurfer、专注编程的Coder，以及处理终端操作的ComputerTerminal。在这个体系中，Orchestrator作为核...微软AgentAI一文读懂LLMs的幻觉问题和对策
什么是大模型幻觉（LLMHallucination）指大语言模型在生成文本时，给出似是而非、虚构或不准确信息的现象，简单来说就是一本正经的胡说八道。要点：大模型幻觉包括生成的文本与事实矛盾、上下文矛盾、与prompt不一致、编造事实和荒谬回复等问题幻觉产生的原因有数据质量问题、多样性缺乏、训练过拟合、生成过程随机性、提示工程不足和微调过程控制不当幻觉会带来严重后果,阻碍大模型应用1）.事实性幻觉(FactualityHallucination...大模型多模态只需8步，手把手教你用LangGraph创建AI智能体
AI领域正从基础的RAG系统向更智能的AI智能体进化，后者能处理更复杂的任务并适应新信息。LangGraph作为LangChain库的扩展，助力开发者构建具有状态管理和循环计算能力的先进AI系统。本文教大家如何使用LangGraph开发一个太阳能节能计算的智能体。1LangGraph概述LangGraph是LangChain的高级库，为大型语言模型（LLM）带来循环计算能力。它超越了LangChain的线性工作流，通过循环支持复杂的任务处理。状态：维护计算过程中的上下...LangGraphAI智能体优雅谈大模型：一文读懂LoRA/DoRA/MoRA
社区头条Microsoft于2021年推出的LoRA是一种经济型微调模型参数的方法。现在大模型的参数规模动不动都在10亿级别以上，微调大模型（微调这里代表着SFT，例如读者将某个大模型拿到自身领域，想使用自身领域的知识再次训练和精校大模型，就属于模型微调的领域。）的全面微调模式下，需要调整所有的参数，因此所需要的资源和时间巨大。LoRA提出了一种微训练模型的新方法，在冻结大部分的模型参数之余，仅仅更新额外的部分参数。同时它的性...模型LoRAMoRA一文详解MHA、GQA、MQA原理
原创 社区头条前言本文回顾一下MHA、GQA、MQA，详细解读下MHA、GQA、MQA这三种常见注意力机制的原理。图1MHA、GQA、MQA一览selfattentionselfattention在自注意力机制中，输入通常是一个统一的输入矩阵,而这个矩阵后续会通过乘以不同的权重矩阵来转换成三个不同的向量集合：查询向量Q、键向量K和值向量V。这三组向量是通过线性变换方式生成：1.查询向量(Q):QXWQ2.键向量(K):KXWK3.值向量(V):VXWVWQ，WK和WV是可学习的权重矩阵，分别对应于查...大语言模型自然语言处理实现了个ChatGPT趋动的游戏，玩得乐此不疲
精华今天给大家带来一篇《简单实现一个ChatGPT驱动的游戏》文章，来自知乎九号（已授权）。今年四月份读了斯坦福GenerativeAgent的论文，觉得特别好玩，花几天时间实现了这个demo。后来拿着这个demo去参加hackathon，竟然拿了二等奖还帮我赢了1300多刀。最近提到这个demo，同事表示很有兴趣，于是仔细整理了一下，分享给大家。知乎：https:zhuanlan.zhihu.comp664009161Github：https:github.comliyucheng09ChatGPTAgent0.让LLM驱动...ChatGPTdemoreactR²AG:将检索信息融入RAG，提升问答系统准确性
文章指出，传统RAG通过向量检索排序召回与Query相关的片段，通过prompt生成回复，LLMs与检索器之间存在语义鸿沟（LLMs难以有效利用检索器提供的信息）。下面来看看这篇文章引入检索信息增强RAG性能的trick。RAG和的比较。采用可训练的Former来弥合检索器和LLM之间的语义鸿沟方法模型架构检索特征提取这样存在一个问题，这些表示不能直接使用，因为单一的表示无法捕捉到用于LLM生成的交互特征。因此，为了适应各种检索器，需要将...RAG斯坦福大学：VideoAgent基于大语言模型的视频QA系统
架构图片上图是VideoAgent的概览图，VideoAgent通过搜索、聚合视频信息来完成长视频QA。整个系统包括一个核心LLM、VLM(视觉大语言模型)和CLIP工具。作者受到人类理解长视频的启发，提出了VideoAgent，通过基于Agent的系统来模拟这一过程的系统。将视频理解过程形式化为一系列状态、动作和观察，其中LLM作为代理控制这个过程。首先，LLM通过浏览从视频中均匀抽样的一组帧来熟悉视频内容的背景。在每次迭代中，LLM评估当前信息（...视频QA系统浅看引入智能信息助理提升大模型处理复杂推理任务的潜力-AssisTRAG
原创 社区头条AssisTRAG通过集成一个智能信息助手来提升LLMs处理复杂推理任务的能力。该框架由两个主要组件构成：一个冻结的主语言模型和一个可训练的助手语言模型。AssisTRAG与之前的RAG对比1.组件主语言模型（MainLLM）：负责根据提供的信息生成答案。这个模型是固定的，不进行训练。助手语言模型（AssistantLLM）：负责信息管理，包括记忆管理和知识管理。这个模型是可训练的。可以看出，相比之前的RAG，该框架主要创新点是引入一个Assist...RAGHunYuan MoE：聊一聊 LLM 参数量、计算量和 MFU 等
社区头条一、背景最近在看腾讯最新混元大模型的Paper时（[2411.02265]HunyuanLarge:AnOpenSourceMoEModelwith52BillionActivatedParametersbyTencent[1]），看到了如下关于计算Budget的公式由于我们的工作中也会经常根据计算资源Budget评估LLM预训练时间，而该公式与我们平常的计算方式不太一致；此外，如下图所示，我们也看到很多文章中将上述公式中的第二项理解为长序列情况下Attention的额外计算开销，而将6ND>9.6ND看成Router引入的...LLM参数量LoRA或许暗藏玄机 | 数字也会骗人？GPT-4都会说9.11>9.9，人工智能的"数学残障"有救了吗？
大模型领域的发展日新月异，每天都有许多有趣的论文值得深入品读。下面是本期觉得比较有意思的论文：LoRA或许暗藏玄机数字也会骗人？GPT4都会说9.11>9.9，人工智能的"数学残障"有救了吗？1、LoRA或许暗藏玄机近期，一项重磅研究揭示了AI训练中广受欢迎的LoRA方法可能存在隐患。虽然LoRA能让模型训练时节省90%以上的显存，在目标任务上表现堪比完整微调，但研究人员发现这种"看似完美"的方法背后，或许并不如表面那么美好。研究...LoRAGPT-4AI
