HippoRAG如何从大脑获取线索以改进LLM检索 原创

译者 | 李睿

审校 | 重楼

知识存储和检索正在成为大型语言模型(LLM)应用的重要组成部分。虽然检索增强生成(RAG)在该领域取得了巨大进步，但一些局限性仍然没有克服。

俄亥俄州立大学和斯坦福大学的研究团队推出了HippoRAG，这是一种创新性的检索框架，其设计理念源于人类长期记忆系统中的海马索引理论。

HippoRAG的引入使大型语言模型（LLM）应用程序能够更有效地集成动态知识，并更快、更准确地检索重要信息。HippoRAG在多跳（multi-hop）问答等任务上表现出令人印象深刻的性能，对于需要对大型复杂知识图进行组装和推理的LLM应用程序非常有用。

LLM知识整合的挑战

哺乳动物的大脑可以储存大量的知识，并在不丢失以前经验的情况下不断整合新经验。这种长期记忆系统允许人类不断更新他们用于推理和决策的知识。

相比之下，LLM在预训练后的知识整合仍然很困难。虽然RAG已经成为LLM中长期记忆的主流解决方案，但现有的方法在处理新文档时往往采取单独编码的方式，这使得不同来源的知识难以有效集成。

许多应用程序需要跨多个文档进行知识集成。例如，科学文献综述、法律案例简报和医学诊断需要将不同来源中提到的事实和概念相互关联。标准的多跳问答也需要整合各种文档的多个段落之间的信息。

为了完成这些任务，当前的RAG系统使用多个检索和生成步骤来连接不同的段落。然而，即使执行了多步RAG，对于许多知识集成场景来说，也往往是不够的。

HippoRAG

HippoRAG从大脑中的新皮层和海马体之间的生物相互作用中获得灵感，这种相互作用使强大的基于场景的、不断更新的人类大脑记忆成为可能。

根据科学研究，大脑皮层负责处理和存储实际的记忆表征，而海马体则拥有一组相互关联的索引，这些索引指向新皮层中的记忆单元，并储存它们之间的关联性。这两个关键组成部分共同协作，执行“模式分离”和“模式完成”的功能，前者确保不同经历的表征具有独特性，后者则让从部分刺激中检索完整记忆成为可能。

HippoRAG通过使用LLM将文档语料库转换为充当人工海马索引的知识图来模仿这种记忆模型。HippoRAG分为两个阶段，离线索引用于存储信息，在线检索用于将知识整合到用户请求中。

离线索引阶段类似于大脑中的记忆编码，使用指令调优的LLM以知识图三元组的形式从段落中提取重要特征。与传统的RAG管道中使用的密集嵌入相比，这允许更细粒度的模式分离。

人工海马索引是在检索语料库中得到的三元组的基础上建立的开放知识图谱。为了连接这些组件，HippoRAG使用现成的密集编码器进行检索，这些编码器在知识图中相似的名词短语之间提供额外的边缘，以帮助下游模式完成连接。编码器有助于使系统更有弹性和灵活性，因为相同的知识可以用稍微不同的方式表达。

在线检索过程反映了大脑的记忆检索过程。LLM从用户查询中提取显著的命名实体，然后根据检索编码器确定的相似性将其链接到知识图中的节点。然后，HippoRAG使用个性化PageRank算法，这是PageRank的一个版本，它使用一组用户定义的源节点在图中分布概率。这种约束使HippoRAG能够将其输出限制为前一步中选择的候选查询节点集。然后将结果应用于索引的段落，以选择它们进行检索。

HippoRAG的实际应用

研究人员在两项具有挑战性的多跳问答基准测试（MuSiQue和2WikiMultiHopQA）以及HotpotQA数据集上，对HippoRAG的检索能力进行了全面的评估。他们将其与几种强大的检索方法和最近的LLM增强基线进行了比较。

评估结果表明， HippoRAG在单步检索上优于所有其他方法，包括那些基于LLM增强的基线模型。与多步骤检索方法IRCoT相结合时，HippoRAG在相同的数据集上提供高达20%的互补增益。

HippoRAG的一个主要优点是它能够在一个步骤中执行多跳检索。其在线检索过程的成本与目前的迭代检索方法(例如IRCoT)相比低10到30倍，快6到13倍，同时实现了相当的性能。

研究人员在报告中写道：“我们提出的神经生物学原理方法虽然简单，但已经显示出克服标准RAG系统固有局限性的巨大潜力，同时保留了它们相对于参数记忆的优势。HippoRAG在路径跟踪多跳QA和路径发现多跳QA方面的卓越表现，以及其显著的效率提升和持续更新的能力，使其成为了连接标准RAG方法和参数化记忆之间的强大中间框架，为LLM中的长期记忆问题提供了令人信服的解决方案。”

研究人员承认，为了进一步改进HippoRAG，还需要克服一些局限性，例如对其组件进行微调，并进一步验证其对更大知识图谱的可扩展性。然而，当前的研究结果已经证明了神经生物学启发的方法在推进LLM知识整合方面的潜力，并使他们能够对非结构化信息进行更复杂的推理。

知识图谱和LLM的结合是一个非常强大的工具，可以解锁许多应用程序。GNN-RAG是一种将图神经网络(GNN)和知识图与LLM相结合的创新方法，已被证明可以解决许多经典RAG无法解决的复杂推理问题。而将GNN引入HippoRAG可能是未来探索的一个有趣方向。

原文标题：HippoRAG takes cues from the brain to improve LLM retrieval，作者：Ben Dickson

链接：https://bdtechtalks.com/2024/06/17/hipporag-llm-retrieval/