从数据孤岛到智能系统：RAG和知识图谱的协同作用 原创

RAG和知识图谱集成可以释放出更大的潜力，实现更深入的理解、推理和准确性。

在当今信息驱动的时代，数据是企业、研究人员和个人的重要资源。然而，这些数据通常分散在跨系统的孤岛中，它们是非结构化的，并且无法进行有效的分析。挑战不仅在于拥有大量数据，还在于以有意义的方式理解这些数据。

检索增强生成（retrieval - augmented Generation， RAG）是一种结合了信息检索和自然语言生成的优势来提取和合成知识的技术。RAG系统从外部来源检索相关数据，并使用人工智能生成准确且内容丰富的响应。当与知识图谱（实体及其关系的结构化网络）集成时，RAG系统将释放出更大的潜力，实现更深入的理解、推理和准确性。

本文探讨了RAG和知识图谱之间的协同作用，并提供了真实世界的示例、详细的解释和清晰的可视化图表，以展示它们的变革能力。

RAG概念、运行原理及局限性

检索增强生成（RAG）代表了人工智能的一个突破，它增强了传统语言模型的能力。虽然像GPT这样的大型语言模型（LLM）是在庞大的数据集上训练的，但它们有知识截断（knowledge cutoff），无法访问实时或特定领域的信息。RAG通过结合下述两个组件来解决这些限制：

• 检索模块：从外部数据库或知识来源中获取相关信息。
• 生成模块：使用检索到的数据以自然语言生成响应。

为了更好地理解RAG，请考虑以下场景：

• 示例：用户询问AI系统：“DreamBook Pro笔记本电脑的最新发布日期是什么时候？”
• 没有RAG：LLM依赖于预训练的数据，这些数据可能不包括最新的产品细节。回答可能是过时的或模糊的。
• 使用RAG：系统从公司的数据库中检索最新的产品信息，并使用它来生成准确的和上下文敏感的答案。

虽然RAG显著提高了人工智能的能力，但没有知识图谱的RAG也存在诸多局限性：

• 关键字依赖：检索依赖于关键字相似度，这可能会错过细微的含义。
• 有限的上下文理解：由于缺乏语义结构，RAG很难解释数据点之间的复杂关系。
• 不一致的准确性：系统可能检索到不相关的数据或产生幻觉反应。

好消息是，这些限制性都可以通过集成知识图谱来解决。

知识图谱概念及运行原理

知识图谱（knowledge graph）是信息的结构化表示，其中实体（Entities）是表示概念、人员或对象的节点；关系（Relationships）是定义实体如何连接的边缘。

下面以一个电影数据库的知识图谱为例：

• 实体：电影、导演、演员、类型。
• 关系：

a.《教父》由弗朗西斯·福特·科波拉执导。

b.阿尔·帕西诺主演了《教父》。

C.《教父》属于犯罪片类型。

使用这种结构，人工智能可以回答以下问题：“弗兰西斯·福特·科波拉执导的哪部电影有阿尔·帕西诺参演？”

RAG和知识图谱如何协同工作

当与RAG集成时，知识图谱可以提供下述功能：

• 上下文丰富：通过连接实体和关系，知识图谱增加了检索数据的语义深度。
• 逻辑推理：系统可以导航关系来回答复杂的查询。
• 准确性：反应基于结构化的、经过验证的数据，减少了幻觉的风险。

下图是传统RAG工作流程与经过知识图谱增强的RAG的对比图：

传统RAG工作流程

在传统检索增强生成（RAG）工作流中，用户查询要经过以下步骤：

• 用户查询：用户提出问题或请求。
• 检索模块：系统根据用户的查询进行相关文档或数据的检索。
• 生成模块：系统使用预训练的语言模型（LLM）和检索到的数据生成响应。

示例：餐厅推荐

想象一下，你正在使用聊天机器人寻找一家餐馆。你输入：“我附近有哪家好的意大利餐厅？”

传统RAG的工作流程表现为以下方式：

• 用户查询：聊天机器人接收你的查询。
• 检索模块：聊天机器人在餐馆数据库中搜索提供意大利美食的地方。
• 生成模块：聊天机器人根据检索到的信息生成响应。

传统RAG的回应：“你附近有一些意大利餐馆：路易吉披萨店、贝拉面食店和罗马小酒馆。”

虽然这种回答也能提供帮助，但它可能缺乏个性化或上下文，比如餐厅的氛围或评级。

知识图谱增强的RAG工作流

在增强型RAG工作流中，查询首先与知识图谱交互，然后再进行检索和生成。知识图谱通过连接相关信息和丰富响应来增加上下文。

它的不同之处表现为以下方面：

• 知识图谱将数据组织成实体（例如，餐馆、菜系、位置）和关系（例如，“供应美食”、“有评级”）。
• 查询与知识图谱交互以识别相关的实体和属性。
• 然后将这个丰富的上下文传递给检索和生成模块，以获得更准确的响应。

示例：用知识图谱推荐餐厅

使用相同的查询：“我附近有哪家好的意大利餐厅？”

增强型RAG的工作流程表现为以下方式：

• 用户查询：聊天机器人接收你的查询。
• 知识图谱交互：聊天机器人使用知识图谱来查找提供意大利美食的餐馆、它们的位置、评级和顾客评论。
• 检索模块：聊天机器人根据丰富的查询检索最相关的信息。
• 生成模块：聊天机器人生成详细的响应。

增强型RAG的回应：“我推荐Bella Pasta。它供应正宗的意大利菜，有4.8颗星的评级，距离酒店只有2英里。人们最喜欢他们的意大利宽面！”

• 传统的RAG工作流：用户查询依次通过检索和生成模块。
• 带有知识图的增强型RAG工作流：用户查询首先与知识图谱交互以丰富上下文，然后再进行检索和生成。

现实用例

用例1：职业推荐系统

场景：用户请求系统：“什么职业适合喜欢解决问题和与数字打交道的人？”

没有知识图谱的情况下，RAG系统会使用TF-IDF等术语匹配技术来推荐职业：

查询：我喜欢解决问题和与数字打交道。

推荐职业：软件工程师：从事创建软件解决方案的工作，通常需要解决问题和分析技能。

这个回答虽然相关，但忽略了对数字技能的关注，因为它纯粹依赖于关键词重叠。

而在集成知识图谱的情况下，系统可以理解如下关系：

• “数据科学家”需要“解决问题”和“数值分析”。
• “软件工程师”侧重于“解决问题”和“编程”。

因此，其输出结果为“推荐职业：数据科学家：涉及数字、统计模型和解决问题的技术。”

用例2：旅游推荐系统

场景：用户查询：“我在欧洲哪里可以徒步旅行，欣赏美丽的风景？”

在没有知识图谱的情况下，系统只会检索通用结果：“推荐：你可以尝试去瑞士徒步旅行，或者去法国的旅游景点。”

对于这些地点的美丽，他们的回答缺乏深度或具体的推理。

在集成知识图谱的情况下，系统会提供结合位置、活动和属性的完整输出：

• “瑞士”提供“徒步旅行”和“风景”。
• “法国”提供“旅游景点”。

由此，系统响应结果为“推荐：瑞士有风景优美的徒步旅行路线，尤其是在阿尔卑斯山。考虑采尔马特的壮丽景色。”

下图是一个简化的旅游推荐知识图谱：

节点：瑞士，徒步旅行，风景。

优势：将瑞士与徒步旅行和风景联系起来，创造语义理解。

技术实现

代码示例：构建知识图谱

from rdflib import Graph, Literal, RDF, URIRef, Namespace

# Initialize a knowledge graph
g = Graph()
ex = Namespace("http://example.org/")

# Add travel-related entities and relationships
g.add((URIRef(ex.Switzerland), RDF.type, ex.Location))
g.add((URIRef(ex.Switzerland), ex.activity, Literal("Hiking")))
g.add((URIRef(ex.Switzerland), ex.feature, Literal("Scenic Landscapes")))
g.add((URIRef(ex.France), RDF.type, ex.Location))
g.add((URIRef(ex.France), ex.activity, Literal("Tourist Attractions")))

# Query the knowledge graph
query = """
    PREFIX ex: <http://example.org/>
    SELECT ?location ?feature WHERE {
        ?location ex.activity "Hiking" .
        ?location ex.feature ?feature .
    }"""
results = g.query(query)for row in results:
    print(f"Recommended Location: {row.location.split('/')[-1]}, Feature: {row.feature}")

推荐地点：瑞士，特点：风景优美

跨域应用

• 医疗保健：结合症状、治疗方法和研究论文，推荐个性化的医疗建议。
• 教育：根据学生的背景和目标建议课程或学习路径。
• 客户支持：通过将常见问题解答和手册链接到知识图谱，提供准确的产品或服务信息。

结语

RAG和知识图谱的集成改变了人工智能系统处理和生成响应的方式。通过打破数据孤岛和引入结构化关系，这种协同作用可确保更准确、上下文敏感和有洞察力的输出。从职业推荐到旅行规划，其应用范围非常广泛，让我们得以一窥智能系统的未来。

在知识图谱的支持下，RAG不再仅仅是回答问题，而是深入地理解问题，从复杂性中进行推理，并传递价值。

原文标题：​​From Data Silos to Intelligent Systems: RAG and Knowledge Graph Synergy​​，作者：Shaik Abdul Kareem