RAG 企业级应用落地框架细节差异对比原创

发布于 2024-7-24 13:14

浏览

0收藏

RAG 检索增强生成本质上来讲，就三件事情：

RAG 企业级应用落地框架细节差异对比 -AI.x社区

第一、Indexing 索引。即如何更有效地存储知识。

第二、Retrieval 检索。即在庞大的知识库中，如何筛选出少量的有益知识，供大模型参考。

第三、Generation 生成。即如何将用户的提问与检索到的知识相结合，使得大模型能够生成有价值的回答。

这三个步骤表面上看似乎并不复杂，然而在 RAG 从构建到实际部署的整个流程中，包含了众多精细且复杂的工作环节，这些落地细节是最具挑战的工作。

RAG 企业级应用落地框架细节差异对比 -AI.x社区

虽然 RAG 架构基本上是按照这些模块来设计的，但不同的实施方案在具体落地时各有其独特之处。

下面详细对比剖析。

网易 QAnything 的亮点在于 Rerank 模块。

RAG 企业级应用落地框架细节差异对比 -AI.x社区

RAGFlow 的亮点在于数据处理模块和知识索引构建模块。

RAG 企业级应用落地框架细节差异对比 -AI.x社区

智谱 RAG 的亮点在于文档解析、切片、Query 改写及 Recall 模型的微调。

RAG 企业级应用落地框架细节差异对比 -AI.x社区

FastGPT 的优点是模块动态配置灵活。

RAG 企业级应用落地框架细节差异对比 -AI.x社区

QAnything的此模块使用了 PDF 文件解析，具体是通过 PyMuPDF 库来完成的，该库是目前效率最高的解析工具。在解析文档内容时，无论是文本文件还是图像文件，均使用 PyMuPDF 的 get_text 方法。需要注意的是，如果图像文件中不包含文字，使用此方法时将会出现错误。
RAGFlow 的此模块使用 OCR 和文档布局分析等功能，在标准的 RAG（检索增强生成）系统中通常被归为一个不太显眼的非结构化数据加载器部分。据此推测，RagFlow 的一个关键优势很可能在于其文件解析的能力。
智谱 RAG--：
FastGPT--：

QAnything 向量库使用了 Milvus 的混合检索策略（结合 BM25 全文检索和向量检索），在检索过程中不设定任何阈值，直接返回前 100 个最相关的结果（TopK =100）。
RAGFlow 向量数据库选用了 ElasticSearch 进行操作。它实现了文本检索与向量检索的混合模式，尽管未明确指定所用的向量模型，但在文本检索方面，使用了 “huqie” 作为分词工具。
智谱 RAG混合检索结合语义和全文检索，利用 BGE-M3 向量模型，不直接通过向量或文本检索召回数据，而是使用 RFF 算法进行排序。
FastGPT文章结构切片和递增索引策略有效解决了问题。四种数据构建方案表现佳：

并对 Embedding 模型进行微调。

QAnything 精确排序使用自定义的 Rerank 模型，阈值设定为 0.35。
RAGFlow 重排排序结合了文本匹配得分和向量匹配得分，其中文本匹配的默认权重为 0.3，向量匹配的权重为 0.7。
智谱 RAG支持重排功能，可动态调整设置；整合嵌入向量（Embedding）与全文搜索（FullText）的结果，并按 ID 进行去重处理；对问答（QA）字符串进行拼接，移除其中的空格和标点符号，并对处理后的字符串进行哈希编码以实现去重；若已配置重排序（Rerank）模型，则调用该模型对结果进行重新排序，并在评分（Score）中新增重排序得分；若未配置，则评分中不会包含重排序得分。
FastGPT--：

QAnything 将所有数据集合并至一个提示词（Prompt），并对最大 token 长度进行了优化处理。
RAGFlow 对大模型可处理的 token 数量进行限制筛选。
智谱 RAG--。
FastGPT在模型微调过程中，我们采取了分步骤的策略：起初使用公开可用的通用问答数据集进行初步微调，随后利用特定领域的问答数据进行进一步微调，最终使用经过人工精确标注的高质量问答数据来进行细致的微调。