【RAG】R²AG:将检索信息融入RAG,提升问答系统准确性

发布于 2024-11-14 15:25
浏览
0收藏

文章指出,传统RAG通过向量检索排序召回与Query相关的片段,通过prompt生成回复,LLMs与检索器之间存在语义鸿沟(LLMs难以有效利用检索器提供的信息)。下面来看看这篇文章引入检索信息增强RAG性能的trick。

【RAG】R²AG:将检索信息融入RAG,提升问答系统准确性-AI.x社区

RAG和的比较。采用可训练的-Former来弥合检索器和LLM之间的语义鸿沟

方法

【RAG】R²AG:将检索信息融入RAG,提升问答系统准确性-AI.x社区

模型架构

检索特征提取

【RAG】R²AG:将检索信息融入RAG,提升问答系统准确性-AI.x社区

这样存在一个问题,这些表示不能直接使用,因为单一的表示无法捕捉到用于LLM生成的交互特征。

因此,为了适应各种检索器,需要将不同空间中的表示转换为统一格式的特征。提出三种相似计算方法来对这些表示进行对齐,从而得到检索特征。

【RAG】R²AG:将检索信息融入RAG,提升问答系统准确性-AI.x社区

【RAG】R²AG:将检索信息融入RAG,提升问答系统准确性-AI.x社区

检索感知提示

【RAG】R²AG:将检索信息融入RAG,提升问答系统准确性-AI.x社区

步骤:

【RAG】R²AG:将检索信息融入RAG,提升问答系统准确性-AI.x社区

这一模块主要是将检索信息作为额外的知识输入,增强了 LLM 对文档的理解能力。

训练策略

主要是训练 -Former 和 LLM 的对齐训练。

【RAG】R²AG:将检索信息融入RAG,提升问答系统准确性-AI.x社区

实验

【RAG】R²AG:将检索信息融入RAG,提升问答系统准确性-AI.x社区

【RAG】R²AG:将检索信息融入RAG,提升问答系统准确性-AI.x社区

参考文献


本文转载自公众号大模型自然语言处理  作者:余俊晖

原文链接:​​https://mp.weixin.qq.com/s/18AO7DTEFeMMlOv2po9dmA​

标签
收藏
回复
举报
回复
相关推荐