使用TAG和RAG实现摘要和标签的自动化来简化客户反馈分析 原创

使用TAG和RAG可以简化客户反馈分析，从大型数据集中高效地提取见解，以增强决策并提高客户参与度。

在当今数据驱动的环境中，企业通过评论、调查和社交媒体互动获得了大量的客户反馈。虽然这些信息可以产生宝贵的见解，但也提出了一个重大挑战：如何从大量的信息中提取有意义的数据。先进的分析技术正在彻底改变人们理解客户情绪的方法。其中最具创新性的是表格增强生成（TAG）和检索增强生成（RAG），它们使企业能够同时使用自然语言处理（NLP）从数千条评论中获得复杂的见解。

本文将深入研究TAG和RAG的工作原理、它们对数据标记和Text-to-SQL生成的含义，以及它们在真实场景中的实际应用。通过提供具体的示例，说明了这些技术如何增强数据分析和促进明智的决策，从而满足经验丰富的数据科学家和新入行者的需求。

利用RAG获得高级数据洞察

RAG代表了企业如何提取和解释大量数据的革命性飞跃。通过将检索机制与语言模型的强大功能相结合，RAG允许用户提出自然语言问题，并从庞大的数据集（如客户评论或产品反馈）中获得高度相关的实时答案。

本节将分解RAG的核心组件，每个步骤都通过可视化的方式来说明该过程的工作原理。

查询输入和向量化

RAG过程的第一步是查询输入和向量化。当用户输入一个查询时，例如“哪里有最好的家庭友好型酒店？”，RAG会将这个问题转换成一种称为向量的数字格式。这个向量表示问题的含义，并为下一步做准备：检索相关数据。

图1查询输入和向量化示意图

图1描述了用户键入查询以及随后将查询转换为向量格式的过程。它强调了问题如何被编码成机器可以处理的数字。

从向量数据库中检索场景

一旦查询被向量化，RAG就会搜索包含数百万条预处理信息（例如客户评论、产品描述等）的预先存在的向量数据库。RAG系统基于语义相似性识别与查询最相关的数据。例如，如果有人询问适合家庭入住的酒店，RAG会提取包含与家庭、儿童设施和家庭服务相关术语的评论。

图2从向量数据库中检索场景的示意图

该图展示了RAG如何从庞大的向量化数据库中检索相关评论或数据，将看到向量化查询如何与系统中存储的相应相关数据点相匹配。

自然语言答案生成

在检索完相关数据之后，RAG的最后一步是生成自然语言答案。然后，检索到的评论通过语言模型进行传递，该模型将数据合成为连贯的、易于阅读的回复。用户的查询采用自然语言回答，并通过检索数据提供的丰富场景而更加具体。

图3自然语言答案生成示意图

图3说明了将检索到的数据如何转换为可读的自然语言响应。它演示了RAG如何从其处理的大量数据中合成有意义的答案，使非技术用户可以访问复杂的数据集。

理解TAG及其作用

TAG通过系统的三步过程在语言模型和数据库之间创建结构化连接，从而增强了传统的Text-to-SQL方法：

（1）数据相关性和查询合成：TAG标识相关数据以处理用户查询，并生成与底层数据库结构一致的优化SQL查询。

（2）数据库执行：对数据集执行生成的SQL查询，有效地过滤和检索相关的见解。

（3）自然语言答案生成：TAG将处理过的数据转换成连贯的、场景丰富的响应，简化了用户解释。

图4 TAG系统的三步过程

数据标注的重要性

数据标记对于组织和分类信息至关重要，特别是在包含非结构化文本的数据集中。这个过程允许系统识别模式和场景，显著提高TAG的有效性。

通过利用数据标签系统地对大量信息进行分类，特别是来自非结构化文本源的信息，工程团队可以分配有意义的标签来训练识别模式和理解场景的系统，从而改进搜索和推荐系统等功能。

例如，当用户在搜索引擎中输入查询时，数据标记使系统能够通过解释用户输入背后的意图来提供最相关的结果。同样，在社交媒体和电子商务平台上，标签数据可以根据用户偏好对内容进行分类，从而实现个性化体验。因此，数据标签构成了技术提供商提供更智能、更高效服务的支柱。

数据标签的主要好处

• 提高准确性：标记数据有助于机器学习模型更好地理解用户意图，从而生成更精确的SQL查询。
• 增强查询相关性：清晰的标识符允许系统对结果进行优先级排序，从而提高相关性。
• 促进用户理解：标签提供场景，帮助用户更轻松地解释数据。

旅游评论中的数据标签示例

• 家庭友好型：确定酒店有适合家庭的设施，例如儿童俱乐部和保姆服务。
• 宠物友好型：确定酒店可以允许客户带宠物，提供宠物床和宠物区等相关服务。
• 奢华：指提供优质服务和专属设施的高端酒店。
• 物有所值：强调提供优质服务的实惠选择。

描述性标签使组织能够简化检索过程，确保用户及时获得相关见解。

利用TAG与旅游评论数据

考虑一个旅游评论数据集，其中包含reviewerID、hotelID、reviewerName、reviewText、摘要和总体评分等字段。这些结构化数据构成了生成针对各种用户需求的可操作见解的基础。

循序渐进的过程

步骤1：数据导入和准备

这个过程首先是导入捕捉客户情绪的数据集，包括总体评级和反馈。这个初始阶段通常包括：

（1）数据清理：

• 删除重复评论：根据reviewerID和hotelID识别和删除重复评论，以确保唯一性。
• 纠错：发现并纠正错误，例如拼写错误或评分量表不一致（例如，使用1-5分与0-10分）。
• 处理缺失值：评估如有用的投票数和reviewText字段的缺失条目，并决定采用适当的插补或删除策略。

（2）预处理：

• 文本规范化：通过将文本转换为小写、删除特殊字符和确保格式一致来规范文本。
• 标记化：将reviewText分解为单个标记（单词或短语），以便于分析。
• 删除停用词：过滤掉对分析没有意义的常见词。
• 词源化/词干化：将单词还原为其基本形式，以统一各种变体。

（3）NLP技巧：

• 情感分析：为评论分配情感分数，以评估整体客户满意度。
• 关键字提取：使用TF-IDF或主题建模（如LDA）等技术识别评论中的关键主题。

（4）可扩展性和性能

处理较大的数据集：

• 分布式计算：TAG可以利用Apache Spark或Dask等框架跨多个节点处理数据，增强对大型数据集的处理能力。
• 数据库优化：对频繁查询的字段进行索引，以提高搜索性能。

权衡：

• 速度与准确性：性能优化可能会加快查询执行，但可能会影响从复杂分析中获得的见解的深度。
• 资源利用率：增加可扩展性通常需要更多的计算资源，从而影响成本。平衡成本和性能是至关重要的。

步骤2：查询合成

这个阶段使用Text-to-SQL方法将自然语言查询转换为可执行的SQL语句。

（1）自然语言处理（NLP）：

• 意图分析：分析用户的查询，以确定潜在的意图（例如，寻找适合家庭入住的酒店的信息）。
• 实体识别：识别查询中的关键实体，重点关注与酒店特征相关的关键字。

（2）查询映射：TAG将用户的意图映射到相关的数据库表和字段。例如，如果用户查询家庭友好型的酒店，TAG会识别与家庭设施相关的关键字。

（3）SQL生成：TAG根据映射构造SQL查询。对于用户查询“儿童友好型酒店的亮点是什么？”生成的SQL可能是：

SQL

1 SELECT hotelID, reviewerName, reviewText, summary, overall
2 FROM reviews
3 WHERE reviewText LIKE '%kid-friendly%' OR reviewText ILIKE '%family%'
4 ORDER BY overall DESC;
5

这个SQL语句用于检索提到具有家庭友好型设施的酒店，并按评分排序，使组织能够从旅行评论数据中获取有价值的见解。

示例查询

为了说明TAG如何处理有关酒店功能的各种查询，请考虑以下示例：

• 问题：儿童友好型酒店的亮点是什么？
• 问题：哪些酒店最适合养狗人士？

执行查询

在合成查询之后，执行查询会产生有价值的结果。以下是执行SQL查询后输出数据的示例：

执行SQL查询后输出数据的示例：

自然语言答案生成

在检索相关数据后，TAG使用RAG生成简洁的摘要。以下是这一过程的工作原理：

Python

1 from langchain import OpenAI, PromptTemplate, LLMChain
2 import sqlite3
3
4 # Establish connection to the SQLite database
5 def connect_to_database(db_name)：
6    """Connect to the SQLite database."""
7    return sqlite3.connect(db_name)
8
9 # Function to execute SQL queries and return results
10 def execute_sql(query, connection)：
11    """Execute the SQL query and return fetched results."""
12    cursor = connection.cursor()
13    cursor.execute(query)
14    return cursor.fetchall()
15
16 # Define your prompt for SQL query synthesis
17 query_prompt = PromptTemplate(
18    input_variables=["user_query"],
19    template="Generate an SQL query based on the following request： {user_query}"
20 )
21
22 # Initialize the language model
23 llm = OpenAI(model="gpt-3.5-turbo")
24
25 # Create a chain for generating SQL queries
26 query_chain = LLMChain(llm=llm, prompt=query_prompt)
27
28 # Define your prompt for generating natural language answers
29 answer_prompt = PromptTemplate(
30    input_variables=["results"],
31    template="Based on the following results, summarize the highlights： {results}"
32 )
33
34 # Create a chain for generating summaries
35 answer_chain = LLMChain(llm=llm, prompt=answer_prompt)
36
37 # Function to simulate data labeling (for demonstration purposes)
38
def label_data(reviews)：
39    """Label data based on specific keywords in reviews."""
40    labeled_data = []
41    for review in reviews：
42        if "family" in review[1].lower()：
43            label = "Family-Friendly"
44        elif "dog" in review[1].lower()：
45            label = "Pet-Friendly"
46        elif "luxury" in review[1].lower()：
47            label = "Luxury"
48        else：
49            label = "General"
50        labeled_data.append((review[0], review[1], label))
51    return labeled_data
52
53 # Main process function
54 def process_user_query(user_query)：
55    """Process the user query to generate insights from travel reviews."""
56    # Connect to the database
57    connection = connect_to_database("travel_reviews.db")
58
59    # Step 1： Generate SQL query from user input
60    sql_query = query_chain.run(user_query)
61    print(f"Generated SQL Query： {sql_query}\n")
62
63    # Step 2： Execute SQL query and get results
64    results = execute_sql(sql_query, connection)
65    print(f"SQL Query Results：\n{results}\n")
66
67    # Step 3： Label the data
68    labeled_results = label_data(results)
69    print(f"Labeled Results：\n{labeled_results}\n")
70
71    # Step 4： Generate a summary using RAG
72    final_summary = answer_chain.run(labeled_results)
73    print(f"Final Summary：\n{final_summary}\n")
74
75    # Format the output as unstructured data
76    formatted_output = "\n".join([f"Reviewer： {review[0]}, Review： {review[1]}, Label： {review[2]}" for review in labeled_results])
77    print("Unstructured Output：\n")
78    print(formatted_output)
79
80    # Close the database connection
81    connection.close()
82
83 # Example user query
84 user_query = "What are the highlights of kid-friendly hotels?"
85 process_user_query(user_query)

输出示例：

JSON

1 {"reviewSummary"： "The hotel exceeded expectations for family stays, providing clean rooms and friendly staff, making it ideal for family getaways. It is affordable, convenient, and highly recommended for families looking for a perfect experience with minor issues.", "Label"："Kid-Friendly"}
2

这种方法利用RAG从个人评论中综合出细致入微的总结，提供清晰的概述，而不仅仅是结果的汇总。

TAG的改进

TAG通过解决传统限制显著增强了查询过程：

• 增强的查询合成：TAG综合考虑了整个数据库结构的优化查询，支持更广泛的自然语言查询。
• 高效的数据库执行：TAG跨大型数据集快速执行查询，便于快速检索对时间敏感的决策的基本见解。
• 改进的自然语言生成：通过利用先进的语言模型，TAG生成连贯的、场景相关的响应，简化用户解释。

相较于当前方法的优势

• 用户友好的交互：用户可以用自然语言提出问题，无需具备SQL知识。
• 快速洞察：快速查询执行可以最大限度地减少访问相关数据所需的时间。
• 场景理解：增强的摘要生成提高了决策者的数据可访问性和有用性。

优化结果的重新排序策略

为了确保高质量的检索结果，有效的重新排序策略可以优化输出。以下是一些策略：

• 基于分数的重新排序：利用分数（例如有用性、评分）来确定响应的优先级，为可靠的审阅者分配更高的权重，以提高质量。
• 语义相似性：使用嵌入来度量语义相似度，并根据与用户查询场景的相关性对结果重新排序。
• 场景重新排名：分析查询场景（例如家庭友好型），并根据评论中出现的特定关键字进行重新排名，以提供最相关的见解。

结论

TAG和RAG在转变客户反馈分析方面处于领先地位，使企业能够利用评论和调查中包含的丰富见解。通过自动化数据标记、查询合成和自然语言生成，组织可以获得可操作的见解，从而改进决策过程。

随着这些技术的发展，潜在的应用十分广泛，从个性化的客户体验到有针对性的营销策略。采用TAG和RAG不仅可以简化对大型数据集的分析，还可以使组织能够在快速变化的市场环境中保持竞争力。

原文标题：​Transforming Customer Feedback With Automation of Summaries and Labels Using TAG and RAG​​，作者：Venkata Gummadi