译者 | 布加迪
审校 | 重楼
本文中将重点介绍如何优化RAG系统，使其尽可能高效。我们从多个角度介绍RAG系统，深入了解其用途以及如何优化。
介绍
检索增强生成（RAG）模型通常被称为RAG系统，在AI行业得到极大的关注。这种模型背后的概念很简单：我们允许模型根据需要从单独的数据集检索信息，而不是使用海量数据训练模型。
将如何改进机器学习模型？首先，训练或微调大语言模型（LLM）的过程极其费钱、费时且乏味。它需要训练有素的机器学习和AI从业人员。RAG系统利用基础LLM，增强输入内容，以保持模型处于最新版本，同时仍能够合并新数据。新数据生成后，几乎可以立即添加到检索数据库中。
我们在本文中将重点介绍如何优化RAG系统，使其尽可能高效。我们从多个角度介绍RAG系统，深入了解其用途以及如何优化。
走近RAG模型
顾名思义，RAG模型由三大部分组成：检索、增强和生成。这些部分代表模型的大体工作流，每个单独的部分包括更多的细节。
1. 查询输入——这个过程从用户输入查询或提示开始，比如要求LLM执行一个任务，比如回答问题或帮助研究主题。视模型及其训练数据而定，你可以依赖基础模型的训练数据，也可以依赖为模型提供数据。
2. 查询编码——使用编码器模型（通常是像BERT这样的预训练语言模型或另一个基于Transformer的模型）将查询编码成向量表示。这个向量表示捕获查询的语义含义。
3. 信息检索——使用编码查询向量，系统从提供的数据检索相关文档或段落。这个检索步骤至关重要，可以使用密集检索和稀疏检索等各种技术来实现。先进的索引技术也可以用来加快检索过程。从检索到的文档中选择前N个候选文档（基于相关性分数）。这些文档被认为与输入查询最密切相关，对于生成最终响应是不可或缺的。
4. 文档编码——随后将每个选定的候选文档由向量表示解码为人类可理解的语言。这个步骤确保检索到的数据将用于生成阶段。
5. 响应生成——连接的向量被馈送到像GPT、Mistral、Llama或其他的LLM中。生成器根据输入生成连贯且符合上下文的响应。该响应应该以清晰、相关的方式回答查询或提供所请求的信息。
那么我们可以加快这个过程的哪些方面呢？就在它的名字里！我们可以优化RAG中的R（检索）、A（增强）和G（生成）。
改进RAG检索——增加向量化
通过增加维度和值精度来增强向量化过程，创建更详细更精确的嵌入，这是提高RAG系统性能的有效方法。向量化过程将单词或短语转换成数字向量，捕获它们的含义和关系，并将它们存储在维度数据库中。通过增加每个数据点的精细度，我们有望获得更准确的RAG模型。
1. 增加向量维度——增加维度的数量让向量可以捕获单词更细微的特征。高维向量可以编码更多的信息，为单词的含义、上下文以及与其他单词的关系提供更丰富的表示。
- 低维向量：一些基本的嵌入模型可能会将单词转换成512维向量。
- 高维向量：较复杂的模型可以将单词转换成超过4000维的向量。
2. 提高值的精度——通过增加值的范围，可以提高向量表示的精细度。这意味着模型可以捕获单词之间的细微差异和相似之处，从而获得更精确更准确的嵌入。
- 低精度向量：在简单模型中，字段值的范围可能在0到10之间。
- 高精度向量：为了提高精度，可以将这个范围从0扩展到1000，甚至更高。这允许模型捕获更准确的值。比如说，人的年龄通常在1岁到100岁之间，因此0到10的范围将缺乏准确表示的必要能力。扩大范围增强了模型更准确地反映实际变化或差异的能力。
需要注意的是，这些优化是有代价的。增加系统的向量维度和精度值会导致更庞大的存储开销和计算密集型模型。
改进RAG增强——多个数据源
在检索增强生成（RAG）系统中，检索部分负责获取生成式模型用于生成响应的相关信息。
如果整合多个数据源，我们可以显著提高RAG系统的性能和准确性。这种方法被称为增强优化，利用众多信息库来提供更丰富更全面的上下文，从而最终获得更准确的响应。下面是几个例子：
- 医疗保健——旨在回答复杂的医疗查询以帮助医生的RAG系统得益于从医学期刊和患者病历检索信息，以生成定制的方案。
- 法律——旨在协助律师进行案件研究的RAG系统得益于从多个相关案件检索信息。通过对每个案件中的主题进行向量化，接受输入提示后，RAG模型可以确定哪些案件可用于支持或辩驳诉讼观点。
- 技术文档——针对任何产品、软件、硬件甚至棋盘类游戏，回答常见问题（FAQ）的RAG LLM可以极大地帮助用户获得快速响应，无需阅读大量的用户手册术语。
改进RAG生成——选择最优模型
虽然实现检索增强生成（RAG）系统时使用最先进的LLM常常可以保证卓越的内容生成和分析能力，但选择最复杂的LLM并不总是最佳选择。
下面是在使用RAG系统的生成部分时，需要注意的四点。
- 复杂性与效率——虽然GPT或Llama之类的高级LLM功能强大，但它们带来巨大的计算成本和资源需求。将这些模型集成到RAG系统中可能带来延迟问题或导致计算资源紧张，特别是在需要实时响应能力的场景中。
- 用例——基于RAG的LLM的有效性在很大程度上依赖特定的用例和领域需求。在一些情况下，较简单的已微调模型可能优于较复杂的通用LLM。根据应用的实际需要定制模型的选择可以确保有效地利用计算资源，又不影响性能。
- 用户体验和响应性——对于响应性和实时交互至关重要的应用，优先考虑较小的LLM中的速度和效率可以增强用户体验。一种兼顾计算效率与内容高效生成的简化方法可确保用户收到快速而相关的响应。
- 成本考虑——部署基于RAG的复杂LLM可能需要更高的硬件及/或运营成本。评估操作目标并权衡收益和成本，以便在致力于部署高度复杂的RAG时做出明智的决策。
提高RAG模型的速度——硬件
基于RAG的LLM的巨大价值因其优化、成本效益和高效使用的潜力而得到普及。这些优化已经提供了一种有效的方式来增强LLM的能力，允许它们检索和合并最新的信息，确保模型保持相关性和准确性。
然而，改进RAG系统需要考虑其他方面。增加向量精度可以提高检索准确度，但会导致更高的计算成本、更长的训练时间和更慢的推理响应速度。最有效的RAG系统是根据你的独特需求和目标量身定制的，又不影响整体效率。定制你的RAG系统，使其与你的特定用例、数据源和操作需求保持一致，有望提供最佳结果。
存储数据和支持RAG的系统也是如此。高性能硬件供不应求，它们可以提供相比AI行业竞争对手最佳的性能，但这种系统很少具有普适性，无法适应所有场景。
原文标题：How To Improve the Performance of a RAG Model，作者：Kevin Vu
