AI.x社区

​AIAgent的四种关键设计模式如下：反思：LLM检查自己的工作，以提出改进方法。使用工具：LLM使用网络搜索、代码执行或任何其他功能来帮助收集信息、采取行动或处理数据。规划：LLM提出并执行一个多步骤计划来实现目标。多智能体协作：多个AI智能体一起工作，分配任务并讨论和辩论想法，提出比单个智能体更好的解决方案。1.反思如图1所示，反思模式允许AIAgent在完成任务后对自身的输出进行再次审视和评估。在这种模式下，AIAge...

架构图片上图是VideoAgent的概览图，VideoAgent通过搜索、聚合视频信息来完成长视频QA。整个系统包括一个核心LLM、VLM(视觉大语言模型)和CLIP工具。作者受到人类理解长视频的启发，提出了VideoAgent，通过基于Agent的系统来模拟这一过程的系统。将视频理解过程形式化为一系列状态、动作和观察，其中LLM作为代理控制这个过程。首先，LLM通过浏览从视频中均匀抽样的一组帧来熟悉视频内容的背景。在每次迭代中，LLM评估当前信息（...

1.引言1.1检索增强生成（RAG）概览图片RAG（RetrievalAugmentedGeneration）融合了两大核心组件：（i）检索模块，负责从外部知识库中检索相关文档或信息，利用密集向量表示从大型数据集，如维基百科或私有数据库中识别相关文档。（ii）生成模块，负责处理这些信息，产出类似人类语言的文本，检索到的文档随后被送至生成模块，该模块通常基于transformer架构构建。RAG有助于减少生成内容的“幻觉”现象，确保文本更具事实性和上...

架构图片上图展示了本文的整体架构：结合了传统的统计技术和大型语言模型驱动的多智能体系统。首先利用从简单的规则、无监督学习和深度学习技术等现有手段，对金融表格数据中的异常进行识别。异常识别后，将数据传到LLM多智能体系统中。整个系统包括：数据转换Agent、数据专家Agent、报告整合Agent、管理层讨论。其中数据专家Agent包括三个专家：•网络调研专家：这位专家通过网络资源的深入挖掘，如数据发布方的公告、头条新闻...

1.为什么要提出LightRAG？检索增强生成（RetrievalAugmentedGeneration，RAG）通过整合外部知识源来增强大型语言模型，这种整合使LLM能够生成更准确和与上下文相关的响应，显著提高实际应用中的效用。•通过适应特定领域知识，RAG系统确保所提供的信息不仅相关，而且符合用户的需求。•提供获取最新信息的途径，这种途径在一些快速发展的领域非常重要。•分块在促进检索增强生成过程中起着至关重要的作用。通过将大型外部文本语...

图片1.ClassRAG推出的背景随着技术的发展，互联网上出现了越来越多的不良内容。过去，使用机器学习的方法来对内容进行情感分类、骚扰识别、仇恨言论检测等。深度学习技术的发展推动了内容审核技术的发展。但是，传统的模型微调方法在完成内容审核任务时，存在很多问题：•首先，内容审核是一项高度主观的任务，意味着标注数据中标注人员之间的一致性较低，可能是由于对政策指南存在不同的解读，尤其是在各种CornerCase上。•其...

1.为啥要提出VisRAG？检索增强生成（Retrievalaugmentedgeneration,RAG）已经成为解决LLM幻觉和知识更新的经典方案，典型的RAG流程是基于文本的（以下简称TextRAG），以分割后的文本作为检索单元。但是在真实场景中，知识往往以多模态的形式出现，比如教科书、手册等。这些文档中的文本与图像交织在一起。为了从这类数据源中提取文本，通常需要一个解析阶段，这包括布局识别、光学字符识别（OCR）和文本合并等后处理步骤。虽然...

图片框架自适应RAG通过判断问题的复杂性来自动选择使用哪种RAG策略。作者将问题划分为三类（如上图的C部分）：•开放领域问答：这类任务通常涉及两个模块：一个检索器和一个阅读器。随着具有千亿参数的超强推理能力的LLMs的出现，LLMs和检索器之间的协同作用已经取得了显著进展。然而，尽管在单跳检索增强LLMs方面取得了进展，但某些查询的复杂性需要更复杂的策略。•多跳问答：多跳问答（MultihopQA）是传统开放领域问答（Open...

1.缘起目前评测大语言模型主要有两种方法：•通过人类投票来进行评估，比如：ChatbotArena，但是这种往往需要花费较长的时间。•为了降低人类标注的依赖，还有另外一种自动化的LLM基准测试。这种方法成本低、容易扩展。自动化基准测试也成为了众多模型的热门选择，而且测试中的高胜率往往能带来显著的宣传优势。但是，自动化基准测试的胜率可能会受到长度和风格偏见的影响。虽然大多数这种影响是来自训练数据集，但是这也导致存...

1.基于LLM的TableQA存在的问题利用LLM来进行表格理解任务往往会将整个表格喂给LLM，但是这种方法存在一定的局限性：•首先，受限于LLM上下文长度的限制；比如，一个包含100列和200行的中等大小表格，单元格数量超过40,000个，超出了LLaMA和GPT系列等流行LMs的处理能力。•此外，过长的上下文可能会削弱推理能力，比如：LostintheMiddle。•最后，随着表格尺寸的增加，计算成本和延迟也会显著上升。所以，直接将表格全部喂给LLM...

1.为什么要提出KAG框架检索增强生成（RAG）技术得到广泛运用，利用外部检索系统，显著提升大语言模型的时效性，并大幅减少模型幻觉。为了进一步提升RAG在多跳任务、跨段落任务的性能，作者引入了知识图谱，包括GraphRAG、DALK、SUGRE、ToG2.0和HippoRAG等。尽管RAG及其优化方案已经解决了因知识缺乏和更新导致的大部分幻觉问题，但生成的文本仍然缺乏连贯性和逻辑性，难以产生正确且有价值的答案，尤其是在法律、医学和科学等需...

最近OpenAI推出了新的o1模型，与之前类似检索器的大语言模型（LLM）不同，o1被称为推理器模型。o1模型可能是类似于AlphaGo的强化学习训练系统，只不过所生成和评估的“动作”是思维链。依据OpenAI发布该模型的博客：o1模型与过去的大语言模型有所区别，是一个新系列的大型推理模型，代表了人工智能能力的新水平。所以，OpenAI将模型的计数器重置为1，命名为OpenAIo1模型。在o1preview和o1mini发布了一周后，作者在PlanBench测试...

1.背景在量化交易领域，Alpha因子挖掘是核心焦点之一：探索和提炼那些能够预测资产收益的预测信号。图片尤金·法玛提出了有效市场假说（EfficientMarketHypothesis，EMH），指出股票价格是所有市场可用信息的反映，股票价格应当全面反映市场内所有可获取的信息。随着研究的深入，当前Alpha挖掘过程存在三大主要挑战：（1）传统方法的僵化性：金融领域中识别Alpha因子的传统方法往往依赖于启发式规则和金融专业知识。这些基于规...

本来今天准备发一篇金融相关的Agent论文结果一大早上，各大群就都开始流传着各种聊天记录原来是凌晨OpenAI发布了新的o1系列模型（以下简称o1模型或o1），所以迫不及待的找了些资料赶紧学习下。图片看上去，这个o1系列模型在数学、编码、科学等一系列理科生擅长的事情上，表现比GPT4还好。目前，各大微信群的讨论大致分为两种观点：•o1太牛逼了，GPT5来了，AGI立马到来！•o1这不就是个Workflow+Agent吗？收集了各方的【小道消...

图片1.背景关系抽取（RelationExtraction，RE）是指将非结构化文本转化为结构化数据（关系三元组），在知识图谱构建等领域扮演了重要角色。但是关系抽取往往因为关系类型的多样性和句子中实体关系的模糊性等问题，导致难以实现高效的RE。这两年，大语言模型凭借其在自然语言理解和生成方面的强大能力，开始在关系抽取方面得到广泛应用。尽管取得一定进展，但往往局限于监督式微调或少量样本问答（QA）基础抽取，较少在复杂关系...

1.背景大语言模型在工业界应用的一个主要障碍就是大语言模型（LLMs）不遵循标准化输出格式。这种不一致性，使得输出解析变得更为复杂，也削弱了这些模型的可靠性。所以，大家普遍会采用结构化输出的方式来规避这一问题，也就是使用格式化限制，比如以标准化格式进行输出，比如：Json、XML等。这些限制可以通过多种方式来实现，比如指示模型遵循带有格式限制指令的指定格式，或者使用像JSON模式这样的标准解决方案。这些方案让LL...

1.当前知识图谱构建存在的问题知识图谱通过捕捉实体之间的关系来构建知识的结构化表示，在分析文本数据集和从结构化异构数据中推断知识方面具有显著优势。比如，知识图谱能够融合来自多个来源的不同数据，提供一个具有凝聚力的信息视角。还能为文本语料库的分析提供更高层次的可解释性。知识图谱的重要性不必多言，最近的GraphRAG又再一次将知识图谱掀起高潮。1.1传统知识图谱构建的问题传统的命名实体识别、关系提取和实体解析...

1.NL2SQL现状自然语言转SQL（nl2sql）技术是指自然语言查询转化为SQL查询，降低普通用户和专家用户在访问海量数据集和获取数据分析结果时的门槛。1.1我们目前处于何方？图片上图展示了过去二十年nl2sql方法的演进历程，从基于规则的方法，到基于深度神经网络的方法，再到可调的预训练语言模型（PLMs），直至大型语言模型（LLMs），整个过程伴随着数据集的发展，比如Spider和BIRD等基准测试的发展。LLMs（如GPT4和Llama2）相较于...

1.GMeLLo提出的背景1.1多跳问答多跳问答的难度往往比较大，因为不仅要追溯事实，还要聚合与串联事实。事实的来源可以是知识图谱、表格、自由格式文本，或者是这些来源的异构组合。随着大型语言模型的发展，基于提示的方法搭配可选的检索模块已成为处理多跳问答的常用手段，但以往多数工作侧重于静态信息库。1.2知识编辑知识编辑目前有两种主流方案：修改模型参数和保留模型参数。1.2.1修改模型参数可进一步细分为元学习和定位编...

1.背景检索增强生成（RAG）借助外部知识来缓解幻觉问题，保障实时知识更新。然而，大家在研究RAG算法时面临两大主要问题：•一方面，许多已发表的成果要么并非开源，要么难以搭建环境，大家不得不耗费大量时间从零开始研发新算法。•另一方面，新的RAG算法纷纷涌现，比如ITERRETGEN、RRR、SelfAsk、ActiveRAG、SelfRAG等等。然而，这些RAG算法在基本组件和评估方法上并不统一，导致大家难以准确评估改进效果。虽然现在也有很多...