ACL2024 | NLP-KG：一个比Google Scholar更强大的NLP文献搜索工具

今天分享一篇来自慕尼黑工业大学的文章，Title: "NLP-KG: A System) for Exploratory Search of Scientific Literature in Natural Language Processing"。

传统的文献搜索工具例如google scholar在学术资源的搜索上做的并不是很好，其大多利用关键词来进行搜索。而本文提出的NLP-KG方法，借助了大量自然语言处理的工具，对现有的文章进行概念抽取，综述分类等，提供层次化的结构图，方便用户快速定位到相关领域和paper。同时结合LLM提供文章chat以及对话搜索等功能，为文献搜索特别是NLP领域的文献搜索提供一套不错的方案。此外，本文提出的方法可能为后续文献类的RAG方案提供一种参考方法。

一、概述

•Title:NLP-KG: A System for Exploratory Search of Scientific Literature in Natural Language Processing

•Authors:Tim Schopf, Florian Matthes

•Institution:Technical University of Munich, Department of Computer Science, Germany

•URL:​​ https://arxiv.org/html/2406.15294v1​​

•Code:​​ https://github.com/NLP-Knowledge-Graph/NLP-KG-WebApp​​

•Website: ​​​https://nlpkg.sebis.cit.tum.de​​^[1]

1 动机

本文尝试nlp论文搜索难的问题，特别是当用户对某个特定领域或概念不熟悉，但又希望了解更多相关信息时，现有的科学文献搜索系统通常基于关键词进行查找，限制了探索的可能性。为此，作者提出了NLP-KG，一个富有特色的系统，旨在支持用户在自然语言处理(NLP)领域的研究文献探索。

• 现有的科学文献搜索系统主要针对基于关键词的查找搜索，限制了探索性查找的可能性。

• 研究人员在不熟悉某一领域时，常需要一种更加探索性的方法来学习和理解新的概念和研究。

2 方法

主要特点：

•语义搜索：提供基于关键词以及语义检索的搜索界面。

•综述论文查找：允许用户快速找到特定领域的综述论文。

•研究领域层级图：通过可视化的方式展示不同研究领域及其关系。

•聊天界面：使用户能够对不熟悉的概念或特定文章提出问题，并获取基于科学出版物的答案。

•高级过滤器：允许用户根据特定条件筛选搜索结果。

四大功能:

1.高级筛选：提供包括FoS（Fields of Study）、会议、日期、引用计数或综述文章等多种高级筛选功能。

2.层次化展示：提供基于层次结构的研究领域（FoS）图，帮助用户理解和探索相关领域。

3.Chat功能：利用LLM对用户提出的关于特定文章的深入问题进行解答。

4.对话搜索：通过RAG (Retrieval Augmented Generation) ，回答用户关于 NLP 相关问题的自然语言问题。

实现方法和步骤:

1.研究领域层次结构（Fos Fields of Study）构建：使用经过微调的 PL-Marker 模型从 ACL Anthology 和 arXiv cs.CL 类别Paper的标题和摘要中自动提取实体和关系，并构建高质量的层次结构图。然后经过领域专家人共修正和构建FoS hierarchy graph。最终生成了421个实体（领域：Fields of Study），530个关系，最高可达7层深度的FOS。

2.文献分类：使用微调分类模型和基于规则的方法，将研究出版物自动分配到相应的FoS中。

3.综述论文分类：训练二元分类器，自动将研究出版物分类为综述或非综述。

4.附加元数据：从Semantic Scholar API获取出版物摘要、SPECTER2 embedding、作者信息、引用和参考文献等元数据。

5.语义搜索：结合BM25和基于SPECTER2 embedding的检索结果，使用Reciprocal Rank Fusion方法进行合并，并通过S2Ranker进行重排序。让用户能够基于关键词搜索相关的出版物、作者、会议场地和学术学科。

6.会话搜索（Conversational Search）：针对每个query，利用LLM + one-shot example生成search term，然后将top5的搜索结果喂入LLM生成response，生成回答的同时，也会生成inline citations，对于follow-up问题，LLM自动决定用当前response回复还是开始一个新的search。同时还针对当个paper也提供Ask This Paper对话能力，能直接对该问题进行提问。

3 结论

•支持探索性搜索：NLP-KG 系统提供了多种高级功能，支持用户对不熟悉的 NLP 领域文献进行探索。

•高质量层次结构图：系统构建了一个高质量的研究领域层次结构图，帮助用户理解和探索相关领域。

•增强的检索和回答能力：语义搜索和对话搜索功能显著提高了文献检索和问题回答的准确性和相关性。

二、详细内容

1 研究领域层级图FoS正确性非常高

• 背景：研究抽取出来的FoS NLP层级概念图的正确性

• 实验方法：

参与者列出5个与他们专业相关的NLP概念，并在构建的层级图中找到这些概念。

进行了用户研究，涉及10位NLP领域的博士级研究人员。

• 结论：Fos层级图的准确率非常不错，其中MAPE代表检索的total step数和ideal step的差异。

2 检索增强生成（RAG）效果评估

• 方法：

Grounded answer生成：使用GPT-4生成50个NLP相关的问题，并利用GPT-3.5和GPT-4在会话搜索流程中生成基于检索文献的回答。

评估方法：使用RAGAS框架评估生成的回答，关注生成回答的忠实度（Faithfulness）和答案相关性（Answer Relevance）。

•结论：RAG Pipeline检索效果也不错，通过RAGAS评价的忠实度（Faithfulness）和答案相关性（Answer Relevance）都不错，说明本文提出的方法可以根据提供的上下文有效回答用户question。

3 NLP-KG提供的功能相对其他学术搜索工具更强大

•结论：专门支持NLP文献搜索，提供tag，层级可视化，综述过滤，paper问答，对话搜索等能力。

三、总结

本文介绍了NLP-KG，一个为自然语言处理(NLP)研究文献的探索性搜索而设计的系统。该系统利用知识图谱、语义搜索、对话式搜索和先进的筛选功能，支持用户在NLP领域的探索，帮助理解未知概念、寻找相关研究文献。

通过构建FoS的层次结构图和集成大型语言模型(LLM)，NLP-KG提供了一种新颖的方式，以探索式的方式理解和发现NLP领域的文献和知识。与现有的学术文献搜索系统进行对比，其在NLP类的文献搜索上有一些优势。

本文转载自​​NLP PaperWeekly​​，作者： NLP PaperWeekly ​​​​