引入上下文检索(Contextual Retrieval)：提升AI模型的精准度与效率原创

发布于 2024-11-13 09:47

浏览

0收藏

01、概述

在当今的数字时代，人工智能（AI）模型的应用场景越来越广泛，从客户支持聊天机器人到法律分析助手，每一种应用都需要准确的背景知识。为了让AI在特定环境中更有用，开发者通常会利用一种叫做“检索增强生成（RAG）”的方法。这种方法通过从知识库中检索相关信息并将其附加到用户的提示中，从而显著提升模型的响应质量。然而，传统的RAG方案在编码信息时往往会丢失上下文，导致系统无法有效地检索到相关信息。

在本文中，我们将介绍一种名为“上下文检索”的新方法，该方法通过引入两种子技术——上下文嵌入和上下文BM25，显著提升了RAG中的检索步骤。通过这种方法，我们的研究显示，检索失败率减少了49%，而结合重新排序（reranking）时，失败率甚至减少了67%。这一系列的改进直接提高了后续任务的表现。

02、什么是上下文检索？

上下文检索的核心在于在每个文本块前加上特定的上下文说明，这样即便是独立的文本块也能被准确理解。传统的RAG方法通常将知识库中的文档拆分成较小的文本块，这样做虽然提高了检索效率，但也可能导致每个块缺乏足够的上下文信息。例如，在处理财务信息时，如果我们收到这样的问题：“2023年第二季度ACME公司的收入增长是多少？”相关的文本块可能只包含“公司的收入比上一季度增长了3%”，但并没有提到具体是哪个公司，或者增长的时间段。这使得检索信息的准确性大打折扣。

上下文检索解决了这个问题，通过将特定上下文附加到每个块前，确保每个块在被嵌入和创建BM25索引时都能包含足够的背景信息。例如，对于我们提到的SEC文件，原始块“公司的收入比上一季度增长了3%”可以被转换为“这个块来自于关于ACME公司2023年第二季度业绩的SEC文件；上一季度的收入为3.14亿美元。公司的收入比上一季度增长了3%。”

如何实施上下文检索？

当然，手动为数以千计的块注释并不切实际。为了实施上下文检索，我们可以借助Claude。我们编写了一个提示，指导模型为每个块提供简洁的块特定上下文，以提高检索效果。具体的提示如下：

<document>
{{WHOLE_DOCUMENT}}
</document>
这里是我们希望定位的块
<chunk>
{{CHUNK_CONTENT}}
</chunk>
请为该块提供简洁的上下文，以便改善该块的检索效果。只回答上下文，不要其他内容。

通过这个过程，我们可以确保上下文信息被有效地附加到每个文本块上。

03、传统RAG方法的局限性

传统的RAG方法在检索时可能会破坏上下文信息。由于文档通常被拆分成较小的块，如果这些块单独存在，可能会导致信息不完整。比如，在处理技术支持数据库时，如果用户查询“错误代码TS-999”，嵌入模型可能会找到关于错误代码的一般信息，但却可能错过确切的“TS-999”匹配。这时，BM25这种基于词汇匹配的老方法则能有效帮助找到确切的匹配。