KGGen用语言模型从纯文本中提取知识图谱

从事大模型应用的读者都可能受到知识图谱（KG）不足的困扰，知识图谱的构建与运营常常是耗时费力的手工过程。

斯坦福最新工作KGGen【文献1】，利用大语言模型（LLM）从非结构化文本中自动生成高质量知识图谱，等于从LLM提取出语义。

简介

知识图谱是信息检索等应用中基本的数据结构，通过主谓宾三元组表示实体之间的关系。

然而，许多现有的KG存在不完整性，缺乏实体之间的众多关系，这对下游任务如KG嵌入和基于图的推理造成了挑战。

KGGen通过利用LLM从纯文本中提取主谓宾三元组，构建密集且全面的KG，从而缓解数据稀缺和不完整性的问题。

方法

KGGen三步从文本中生成KG：

实体和关系提取：基于LLM的提取器读取非结构化文本，预测主谓宾三元组，捕捉实体及其关系，并确保实体之间的一致性。

聚合：从每个源文本中提取三元组后，收集所有源图中的所有唯一实体和边，将其组合成一个整体图Graph。聚合无需LLM。

相关实体聚类：为减少提取的KG中的稀疏性，对相关实体进行聚类，确保生成的图是密集且相互关联的。灵感来自人群如何逐渐就合并术语达成一致。

这种多步方法使KGGen能够从纯文本中生成高质量的KG，成为下游各种应用的非常有价值工具。

基准测试和性能

为了评估KGGen的有效性，学者们引入了节点和边信息度量（MINE）基准测试。

MINE通过确定特定事实是否被捕捉到生成的图中，评估提取器从纯文本生成有用KG的能力。

KGGen在该基准测试中优于现存的提取器，展示了其利用LLM生成功能性KG的潜力。

可用性

KGGen作为Python库提供，用户可以通过pip（pip install kg-gen）访问。

该项目的代码可以在​​https://github.com/stair-lab/kg-gen​​找到，可促进KGGen在各种应用和研究项目中的集成。

结论

KGGen的开发代表了从非结构化文本中自动生成知识图谱的重大进展。

通过利用LLM和聚类算法，KGGen解决了传统KG中数据稀缺和不完整性的问题。

其在MINE基准测试中的优异表现和作为开源Python库的可用性，可作为知识图谱构建和利用领域从业者的宝贵资源。

文献1，KGGen: Extracting Knowledge Graphs from Plain Text with Language Models，https://arxiv.org/pdf/2502.09956v1

本文转载自​​清熙​​，作者： 王庆法