AI.x社区

开源LLaVAo1：一个设计用于进行自主多阶段推理的新型VLM。与思维链提示不同，LLaVAo1独立地参与到总结、视觉解释、逻辑推理和结论生成的顺序阶段。LLaVAo1超过了一些更大甚至是闭源模型的性能，例如Gemini1.5pro、GPT4omini和Llama3.290BVisionInstruct。基础模型与LLaVAo1的比较。基础模型Llama3.211BVisionInstruct在推理过程中有明显的缺陷，整个推理过程中出现了几个错误。相比之下，LLaVAo1首先概述问题，从图像中解释相关...

Chonkie：实用的RAG分块库，轻量级、速度快，可随时对文本进行分块。图片支持的方法Chonkie提供了多个分块器，可高效地为RAG应用程序拆分文本。以下是可用分块器的简要概述：TokenChunker：将文本分割成固定大小的标记块。WordChunker：根据单词将文本分成块。SentenceChunker：根据句子将文本分成块。SemanticChunker：根据语义相似性将文本分成块。SDPMChunker：使用语义双重合并方法分割文本。基准(VSLangChainLlamaIndex)尺...

​AFlow是一个用于自动生成和优化Agentic工作流的框架。它使用蒙特卡洛树搜索（MonteCarlotreesearch）在代码表示的工作流空间中查找有效的工作流，用机器工作取代手动开发。在各种任务上都显示出超越手工工作流的潜力，由MetaGPT开源。AFLOW（以黄色突出显示）在所有六个基准测试中始终优于所有自动化工作流优化和手动设计的方法（IO、CoT、CoTSC、MedPrompt、MultiPersona、SelfRefine、ADAS）AFLOW在GSM8K上的树状迭代过程：...

AutoRAG：RAGAutoML工具可自动为你的数据找到最佳RAGPipeline。市面上有许多RAGPipeline和模块，但不知道哪种Pipeline最适合“你自己的数据”和“你自己的用例”。制作和评估所有RAG模块非常耗时且难以完成。AutoRAG支持一种简单的方法来评估许多RAG模块组合。可以使用自己的评估数据自动评估各种RAG模块，并找到最适合自己用例的RAGPipeline。AutoRAG支持的RAG技术栈支持16种解析模块、10种切块模块解析模块：PDFMiner，PDFPlu...

KAG（KnowledgeAugmentedGeneration）框架早在9月份就已经发布，近期终于开源了，它的核心在于提出了：一种LLM友好的知识表示方法知识图谱与原始文本块之间的相互索引逻辑形式引导的混合推理引擎以及基于语义推理的知识对齐归功于在构建更有效的索引、知识对齐和混合解决库方面的创新，KAG框架在多跳问答任务中相比于现有的RAG方法有显著的性能提升，2wiki、MuSiQue数据集上的EM指标直接翻倍。此外，KAG框架在蚂蚁集团的电子政...

Anthropic深夜发布重大更新：升级版Claude3.5Sonnet、新型号Claude3.5Haiku以及超级Agent：computeruse。新的ComputerUse可能是迄今为止最先进的AIAgent之一，它可以像人类一样使用计算机——查看屏幕、移动光标、点击和输入文本。Claude3.5Sonnet：强悍编程能力编程能力显著提升，SWEbench测试从33.4%提升到49.0%,超过所有公开模型)，工具使用能力增强，价格和速度维持不变​​https:www.swebench.com​​超级Agent：computeru...

智能体（Agent）通过自然对话与用户互动有两个任务：交谈和规划推理。对话回应必须基于所有可用信息，行动必须有助于实现目标。与用户交谈和进行多步推理和规划之间的二分法，类似卡尼曼引入的人类快速思考和慢速思考系统。为此，GoogleDeepMind提出了一个名为TalkerReasoner的双系统架构，以模拟人类的两种思考系统。TalkerReasoner的双系统架构，用于构建能够通过自然对话与用户互动的智能代理。这种架构受到人类“快速思考”...

传统大模型工具调用的方法依赖于将工具描述作为上下文输入，这受到上下文长度的限制，并需要单独的、通常效率低下的检索机制。之前基于检索的方法与ToolGen之间的比较。以前的方法使用检索器根据相似性匹配检索相关工具，这些工具进一步被放入提示中供LLMs选择。ToolGen可以通过直接生成工具标记来检索工具。ToolGen也可以在不依赖任何外部检索器的情况下完成任务。为此，微软等提出ToolGen，这是一种将工具知识直接整合到LLM参...

以往的研究主要集中在通过增加检索文档的数量或长度来扩展检索增强生成（RAG）中检索到的知识。然而，仅增加知识量而不提供进一步的指导存在一定的局限性。为此，GoogleDeepMind研究了RAG在推理计算扩展（InferenceScaling）情况下的性能，特别是当上下文很长时。通过应用最优配置，在长上下文LLMs上扩展推理计算可以实现高达58.9%的性能提升。用于RAG的推理扩展策略为了衡量推理计算，定义了有效上下文长度，即在LLM生成最终答...

SMARTSLIC框架：旨在将RAG结合向量存储（VectorStores）、知识图谱（KnowledgeGraphs）和张量分解（TensorFactorization）来增强特定领域的大型语言模型（LLMs）的性能。SMARTSLIC系统框架SMARTSLIC框架的关键组成部分和操作流程：包括构建特定领域的数据集、知识图谱本体论、向量存储以及检索增强生成（RAG）过程：A.特定领域的数据集：项目从由主题专家（SMEs）选定的核心文档开始，这些文档代表了想要构建数据集的特定领域。...

VARAG（视觉增强检索和生成）：是一种视觉优先的RAG引擎，强调基于视觉的检索技术。它通过视觉语言模型集成视觉和文本数据，增强了传统的检索增强生成(RAG)系统。🚀支持的检索技术VARAG支持多种检索技术，针对不同用例进行了优化，包括文本、图像和多模式文档检索。以下是支持的主要技术：简单RAG（带OCR）​简单RAG（检索增强生成）是一种高效而直接的方法，用于从文档中提取文本并将其输入到检索管道中。VARAG通过Docling整合...

将外部数据整合到LLMs中的技术，如检索增强生成（RAG）和微调，得到广泛应用，但在不同专业领域有效部署数据增强LLMs面临着重大挑战：从检索相关数据和准确解释用户意图到充分利用LLMs的推理能力来处理复杂任务对于数据增强LLM应用来说，没有一种放之四海而皆准的解决方案。应用落地性能不佳往往是由于未能正确识别任务的核心焦点，或者任务本身就需要多种能力结合，必须被分离出来以获得更好解决方案。数据增强LLM应用中不同查...

现有基于LLM的智能体虽然在功能上取得了进展，但缺乏模块化，导致在研究和开发中存在术语和架构上的混淆，在软件架构上缺乏统一。“AsurveyonLLMbasedautonomousagents”提出的框架，它并没有明确指出大型语言模型（LLM）、工具、数据源和记忆是否是Agent的一部分。这种对每个模块功能的模糊区分促进了软件开发者之间的分裂，并导致不兼容和阻碍了可重用性LLMAgentUMF框架通过明确区分智能体的不同组件，包括LLM、工具和新引入...

​iText2KG是一个开源项目，能够利用大型语言模型（zeroshot）跨领域从文本中提取实体和关系，自动构建和更新知识图谱，并通过Neo4j进行可视化。iText2KG由四个主要模块组成：文档提取器、增量实体提取器、增量关系提取器、图形集成器和可视化。它们协同工作，从非结构化文本构建和可视化知识图谱。iText2KG整体架构概述文档提取器（DocumentDistiller）：该模块处理原始文档，并根据用户定义的模式将其重新表述为语义块。它通...

OpenAI草莓Q项目终于发布了，OpenAIo1在具有挑战性的推理基准上遥遥领先于GPT4o，即使在一些基准上超过了人类PhD水平，也能被玩坏实线表示pass1准确率，阴影区域表示64个样本的多数投票（共识）表现OpenAIo1思考一个“句子编写”问题，足足花费92s，经历了漫长的thinking过程：识别单词模式映射单词关系识别押韵模式...权衡各种模式编写一个句子，遵循与句子"isoldbowlstoboldsouls"相同的规则，其中包含四个关键词，sold、bowl...

大型语言模型（LLMs）在自然语言处理（NLP）领域促进了重大进展，但它们也面临着诸如幻觉和需要特定领域知识等挑战。为了缓解这些问题，最近的一些方法将从外部资源检索到的信息与LLMs相结合，显著提高了它们在NLP任务中的表现，但是缺乏对检索增强型语言模型（RALM）全面概述。因此，对包括检索增强生成（RAG）和检索增强理解（RAU），提供了对它们的范式、演变、分类和应用的深入、全面综述。图1：RALM研究总体概述一、RALM是...

MemoRAG是一个建立在高效、超长记忆模型之上的创新RAG（RetrievalAugmentedGeneration）框架，由智源研究院（北京人工智能研究院）与中国人民大学高瓴人工智能学院联合推出并开源。MemoRAG：通过记忆启发的知识发现迈向下一代RAG，为RAG提供基于内存的数据接口，适用于多种用途的应用程序！MemoRAG与主要处理具有明确信息需求查询的标准RAG不同，MemoRAG利用其记忆模型实现对整个数据库的全局理解。通过从记忆中回忆与查询相关...

开源大模型领域热闹非凡的一周，各种开源，PaperAgent进行了概括：端侧、Code、RAG、Agent、Reflection（反思纠正）、MoE，你关注的都在这里了。ReflectionLlama3.170B开源ReflectionLlama3.170B是世界上顶尖的OpenLLM，通过反思微调技术（ReflectionTuning）训练，能够检测并纠正推理错误，具有很高的热度，HuggingFace热门排行Top1。Agent中需要LLM具有很强的推理规划能力，这种反思技术训练的模型是否很契合Agent尼？有待进...

要说最近RAG方面火热的项目当属kotaemon，短时间暴涨8kstar​​一个开源、清晰、强大且可定制的RAGUI​​kotaemon的亮点是可定制化RAGUI，核心技术点是混合索引（Vector、Keyword、GraphRAG）、复杂推理Agent（ReAct、ReWOO、MemoryGIST和GraphReader）、多模态。混合索引（GraphRAG）混合索引主要是指：全文和矢量融合，这里还有一个选型就是集成了RAG的新范式：GraphRAG看代码直接用的微软GraphRAG检索后重排采用LLMRerankerR...

传统的注意力机制由于时间和空间复杂度的二次方增长，以及在生成过程中键值缓存的内存消耗不断增加，限制了模型处理长文本的能力。相关的解决方案包括减少计算复杂度、改进记忆选择和引入检索增强语言建模。检索增强生成（RAG）和MemLong的记忆检索流程。(a)当检索到的信息长度超过模型的处理能力时，RAG甚至可能会降低生成性能（黄色）(b)MemLong利用外部检索器来获取历史信息，然后将这些信息以键值对（KV）的形式而不是文本...