DSARE：当传统NLP遇到LLM后的关系提取新思路 精华

1. 背景

关系提取是指通过自然语言处理技术从非结构化文本中确定两个实体之间的关系。

图片

如上图所示，大多数传统的关系提取（Relation Extraction，RE）方法是为RE任务量身定制，但是这些方法往往缺乏特定领域的先验知识。特别是当可供配置资源空间太少的时候，比如Few Shot Relation Extraction（FSRE）场景。

另一方面，基于LLM的新方法却存在相反的问题，尽管随着模型规模和语料库的增大，LLMs拥有大量先验知识，但是由于LLMs往往是为通用用途设计的，所以他们缺乏关系提取任务的特定能力。

所以今天这篇论文的作者提出了一种新方法，将传统关系抽取方法和大语言模型相结合，提出了一种用于小样本关系抽取的双系统增强提取器（Dual-System Augmented Relation Extractor, DSARE），这种方法结合了两种系统的优势来弥补各自的缺陷。

2. 什么是DSARE？

图片

DSARE包含三个关键组件：

-（a）LLM增强的RE模块：通过设计提示词，使LLM生成额外的领域内标注数据，以提升传统RE模型的训练效果，从而将LLM的先验知识有效注入传统RE方法。

-（b）RE增强的LLM模块：利用训练好的RE模型识别并检索训练数据中最有价值的样本。这些样本随后作为上下文学习的示例，增强LLM在RE任务中的特定能力。

-（c）综合预测模块：综合考虑LLM增强RE和RE增强LLM模块的预测结果。当两者预测不一致时，激活一个专门设计的选择器来做出最终决策。

2.1 LLM增强的RE模块

2.1.1 利用LLM进行数据扩充

设计了提示，向LLM注入关系抽取训练样本的核心要素，包括上下文文本、主体实体、客体实体、主体类型、客体类型及其关系。随后，引导LLM生成更多模拟的关系抽取样本。

然后制定规则，如正则表达式，将LLM输出的关系抽取数据整理成期望的格式。

2.1.2 经典关系抽取模型

通过扩充的数据集，获得了更丰富的数据资源，用以训练经典的关系抽取模型。

使用了带类型标记的实体标记（Typed Entity Marker）方法，用以标注实体及其上下文。

用“@”和“#”符号标记主体和客体实体的起始和结束，同时使用“∗”和“∧”符号来指明主体和客体的类型。

2.2 增强型LLM关系抽取

2.2.1 KNN展示

上文构建了一个经典的关系抽取模型，接下来运用k最近邻（KNN）搜索技术，从训练集中提取更具价值的样本。

使用捕获的实体表示ℎs和ℎo 来标识每个样本，并从训练集中提取出表示和标签对ℎs和ℎo ，将其命名为数据集D。

在对新样本x进行推理时，利用其实体表示 ℎx 在 D中进行查询，依据欧氏距离找出 k个最接近的邻居：N={(hi, yi)}，这些将作为LLM推理的参考示例。

2.2.2 LLM推理过程

当获取到有效的示例，将这些示例用于构建提示词的示例。先通过在提示词中明确关系抽取任务的目标。接着，展示当前样本的k个最近邻N={(hi, yi)}的示例作为学习样本。

2.3 综合预测

图片

上文中分别使用了传统方法和LLM方法两个视角进行关系抽取。

当两个结果一致时，即 R(LLM)=R(RE)，模型将直接输出预测的关系。若结果出现分歧，设计了一个选择机制，让LLM在这两种关系中做出决断。为提升选择机制的有效性，直接从训练集中检索与这两种关系相关的k个样本。

然后，采用LLM推理部分介绍的方法，引导LLM得出最终的预测结果。如果LLM未能进行推理，或其输出无法映射到预定义的关系类别，将得出主体与客体实体间不存在关系的结论。

3. 效果测评

为了对比DSARE的效果，作者与当前领先的少样本关系抽取技术进行了对比。根据这些方法的架构设计，可划分为三大类：传统关系抽取技术（①至④）、基于LLM的技术和混合技术（⑧）。

• • ① TYP Marker：建议将实体表示与类型标记融合，这一创新在关系抽取任务上取得了卓越成效。
• • ② PTR：设计了一种规则化的提示调整机制，通过逻辑规则构建由多个子提示组成的提示。
• • ③ KnowPrompt：创造性地将关系标签蕴含的隐含知识，通过可训练的虚拟类型词和答案词，注入到提示构建中。
• • ④ GenPT：提出一种创新的生成式提示调整方法，将关系分类问题转化为填充问题，充分利用了实体和关系类型的深层语义。
• • ⑤ GPT-3.5 ⑥ LLama-2，⑦ Zephyr 代表当前高级的LLM技术。使用了GPT-3.5的API，并选择了LLama-2（llama-2-7b-chat-hf）和Zephyr（zephyr-7b-alpha）的7B版本进行实验。还采用了中的提示来执行上下文学习。
• • ⑧ Unleash  引入了一种通过LLMs进行的受约束数据生成技术，这一方法显著增强了现有关系抽取技术（如KnowPrompt），使其取得了更具竞争力的成果。

图片

如上表所示，DSARE模型在各项指标上均超越了所有对比基准。特别是在TACRED和TACREV数据集上表现尤为突出。

为了验证DSARE模型各部分的有效性，作者实施了消融实验。

首先移除了集成预测模块，由此产生了两种简化版本：LLM增强型关系抽取与关系抽取增强型LLM。

图片

如上表所示，集成预测模块的效果明显比其他两个简化版本都提升的明显。

接下来，进一步对LLM增强型关系抽取去掉了LLM数据增强部分，对关系抽取增强型LLM去掉了KNN展示部分。产生了另外两个版本，即纯净的关系抽取和纯净的LLM4。

这两种版本的表现都不尽如人意，尤其是纯净LLM。这些结果进一步证实了我们设计方案的合理性和必要性，它们并非多余。

本文转载自 ​​大语言模型论文跟踪​​，作者：HuggingAGI