LawLLM：面向美国法律体系的法律大语言模型 原创 精华

摘要    

在法律分析这一快速发展的领域中，由于法律语言的复杂性（通常包含专业术语、复杂句法和历史背景），寻找相关案例并准确预测司法结果具有挑战性。此外，相似案例与判例案例之间的微妙差异需要深厚的法律知识理解。研究人员常常混淆这些概念，导致难以开发专门技术来有效处理这些细致入微的任务。

本文介绍了法律大语言模型（LawLLM），这是一个专为美国法律领域设计的、能够应对这些挑战的多任务模型。LawLLM在相似案例检索（SCR）、判例案例推荐（PCR）和法律判决预测（LJP）方面表现出色。通过明确区分判例案例和相似案例，我们提供了关键性的概念澄清，为未来研究开发针对这些任务的专门策略指明了方向。我们为每个任务提出了定制化的数据预处理技术，将原始法律数据转化为可训练的格式。

此外，我们还在LawLLM中运用了上下文学习（ICL）和先进的信息检索方法等技术。评估结果表明，在零样本和少样本场景下，LawLLM始终优于现有基线模型，提供了无与伦比的多任务能力，填补了法律领域的关键空白。代码和数据可在https://github.com/Tizzzzy/Law_LLM获取。

1 引言    

大语言模型（LLMs）的发展推动了计算语言学的重大进步，尤其影响了法律分析等领域。鉴于法律语言的特性（包含复杂术语和特定情境的逻辑框架），LLMs在这一领域展现出前所未有的能力[21]。LLMs与法律领域的结合显著提高了律师和法官等法律从业者的工作效率，能够准确解读他们的自然语言输入并生成最相关的回应，从而减少了对大量法律文本进行人工审阅的需求。此外，LLMs还能为律师提供新颖的见解，揭示在复杂案件中被忽视的细节和观点。法律领域的最新发展已经展示了LLMs在提升法律判决预测和处理各类法律任务方面的潜力。例如，LM-CompEval-Legal[26]等研究系统评估了LLMs的效能，而PLJP[33]和LoT[11]等项目则专注于整合领域特定模型并推进LLMs对法律推理的理解。    

尽管这些模型已展现出前景，但仍存在研究挑战。首先，这些模型通常只应对单任务挑战。相比之下，LawLLM创新性地同时支持多个法律任务，能对复杂法律数据集进行更细致的分析，填补了该领域的关键空白。其次，法律领域中另一个存在争议的领域是判例案例与相似案例之间的区别[22]。为判例案例推荐开发的模型多种多样，从基于专家知识的模型到基于自然语言处理的模型[2,16,18,20]。这些方法通常将法律文本转化为嵌入表示，并在嵌入层面计算相似度，这有助于判例选择。但我们认为，这种方法更侧重于识别具有文本和上下文相似性的相似案例，而非判例案例。

在我们的研究中，我们强调了两者之间的关键区别。首先，判例案例必须在输入法律案件之前已经结案，确保其与当前考虑案件的相关性和适用性。其次，判例案例是法官在做出决定时实际考虑过的案例，而不像相似案例可能未被考虑。第三，相似案例在案件叙述或案件类别上具有文本和主题相似性，而判例案例在表面上可能看似无关。还需注意的是，虽然法律案件的判例案例有时可能与相似案例相同，但情况并非总是如此。

本文介绍了法律大语言模型（LawLLM），这是一个能够执行相似案例检索（SCR）、判例案例推荐（PCR）和法律判决预测（LJP）的多任务LLM。为构建LawLLM，我们使用美国真实法律数据集对Gemma-7B[29]进行指令微调，使其能够执行LJP、PCR和SCR任务。所有三个任务的指令都属于分类类别。通过这样做，我们可以有效减少模型的无关和噪声选项，从而提高其性能。图1展示了LawLLM的总体构想。LawLLM的开发还包括三种创新的预处理方法，将非结构化法律数据转化为可训练的格式。具体而言，对于LJP，我们从原始数据集中总结和提取判决结果，并应用零样本和少样本上下文学习（ICL）[13,36]技术来提升模型性能。在PCR中，LawLLM将真实法律案例的判例关系构建为知识图谱（KG），将每个案例视为由判例连接连接的独特实体[25]。此外，SCR任务创建了一个法律案例向量数据库，并整合了先进的信息检索（IR）技术[8,12]。    

我们的研究将LawLLM定位为法律LLM领域的开创性模型。我们的主要贡献如下：    

• 我们提出了LawLLM，它擅长处理一系列法律任务，包括LJP、PCR和SCR。这种多任务功能对于满足法律领域多样化需求至关重要。
• LawLLM区分了判例案例和相似案例，明确了每个任务的目标。这种澄清使未来研究能够为这些任务开发量身定制的策略。
• 实验结果表明，LawLLM在所有三个任务上都优于包括GPT-4模型在内的所有基线模型。这些结果凸显了LawLLM在法律领域的强大能力。

2 相关工作    

法律AI正在显著提高法律界的效率和效力。AI技术，特别是大语言模型（LLMs），正在引领自动化复杂任务的潮流，如文档分析、案件预测和法律研究[34,38]。LLMs利用先进算法和数据分析来处理和生成法律文本，从而在速度和准确性上带来显著提升[39]。本节我们将介绍法律AI和LLMs在法律实践中的各种应用。

2.1 判例案例推荐    

判例案例推荐是法律实践的一个基本方面，因为既往判决会显著影响当前法律决定。该领域已从早期的基于关键词搜索和手动标注发展到更复杂的AI驱动模型，提高了检索效率和上下文相关性。吴等人[34]提出了判例增强法律判决预测框架，将LLMs与领域专业知识相结合，显著提高了法律预测准确性。马等人[17]开发了结构化法律案例检索系统，利用法律文档中的结构信息来提高案例搜索精度和上下文相关性。此外，苏等人[27]提出了Caseformer。这一创新的预训练框架从大量法律文本语料库中学习，以优化跨多种语言的案例检索和情境化。

2.2 相似案例检索    

除了判例推荐外，检索相似案例（即事实或法律问题相似的案例）对于全面法律分析和策略制定至关重要。传统上，这一过程需要大量人工劳动，专业人员需要梳理庞大的案例数据库[17,19]。如今，NLP和机器学习的进步改变了这一任务，允许跨文档提取和比较语义内容。康等人[14]通过整合关联知识增强了基于相似性的检索。这种方法通过利用相似性和关联分析来优化检索结果，该技术在医疗诊断和IT服务管理等其他领域也被证明有效。曼达尔等人[19]在印度最高法院数据集上分析了文本相似性技术，发现TF-IDF等传统方法优于BERT等现代上下文感知模型。吴等人[32]研究了中国司法系统中的语义检索，开发了一个为案例生成知识图谱的模型，以提高审判准确性和公平性。这些技术进步大大简化了法律研究，使其更加高效和全面。    

2.3 法律判决预测    

预测法律判决涉及基于对历史数据和既定法律标准的深入分析来估计潜在判决结果。该领域的初始模型相对简单，主要依赖无法捕捉法律推理多方面的线性算法。王和金[31]的CNN-BiGRU多任务学习模型通过利用相关法律子任务的共享信息提高了预测准确性。查尔基迪斯等人[3]使用欧洲人权法院数据，通过分层BERT为长法律文本建立了稳健的性能基准。鲁斯纳琴科等人[23]展示了基于注意力的方法可以通过优化文档预处理和竞赛背景下的注意力机制来提高系统性能。这些模型不仅能预测结果，还不断从新案例中学习以提高准确性，展示了LLMs在法律判决预测中的适应性。

2.4 法律领域中的LLMs    

在大语言模型（LLMs）发展之前，研究人员探索了特定领域的预训练语言模型（PLMs），例如基于Longformer架构处理长中文法律文档的Lawformer[35]。随着LLMs受到关注，研究人员发现像GPT-4这样的模型能够成功通过律师资格考试，展示了在法律推理和文本生成方面的强大能力[15]。这一成功促使法律领域专用LLMs的发展，例如利用对话式AI改善用户与法律系统交互的Chatlaw[5]。在这方面，SaulLM-7B作为首个专门用于理解和生成法律文本的LLM被推出，利用大量法律语料库实现了最先进的性能[4]。LLMs的影响超越了特定任务，扩展到更广泛的法律操作。这些应用范围从文档自动化（LLMs协助起草和审查法律文件）到合规监控（确保符合监管标准）[28]。LLMs简化了非专业人士的复杂法律流程，降低了获取法律建议的门槛[9]。LLMs的广泛应用展示了其在法律领域的广泛适用性和持续创新的潜力。    

尽管这些当代研究取得了成功，但这些模型主要专注于利用LLMs的理解和能力来执行一般性法律问答。然而，LawLLM旨在利用LLMs的理解和学习能力来预测和执行法律领域内的特定任务。

3 方法论    

在本研究中，我们提出了法律大语言模型（LawLLM），以解决法律领域内的三个关键任务：相似案例检索（SCR）、判例案例推荐（PCR）和法律判决预测（LJP）。我们的方法框架如图2所示，分为四个独立部分：数据预处理、SCR处理、PCR处理和LJP处理。

3.1 数据预处理    

我们的方法始于从法律数据库系统收集案例数据，记为D。我们确保所有收集的原始案例数据di∈D包含以下各种信息：

di={标题，日期，法官，原告，原告律师，被告，被告律师，案件详情，判例关系}。

如图2左上角所示，数据预处理包括三个主要步骤：

图2：我们的法律大型语言模型（LawLLM）概览：数据预处理位于左上角，以绿色显示；相似案例检索处理位于右上角，以黄色显示；判例推荐位于左下角，以红色显示；法律判决预测位于右下角，以蓝色显示。

步骤1. 鉴于案件详情中文本内容的庞大规模及其通常隐含的判决结果，我们使用GPT-4[1]模型提取核心信息并总结每个案例。这一步骤减少了信息过载，并确保我们的数据集适应Gemma的约束，特别是令牌大小限制。GPT-4预处理指令如下：

我有一个法律案例描述，需要两个不同的信息：

1.摘要：请提供案件的详细摘要，重点关注事实和事件。排除任何关于判决结果的信息。

2.判决：说明案件的判决结果，考虑以下类别：

• 原告胜诉
• 被告胜诉
• 和解
• 案件驳回
• 不确定    

如果提到了判决结果，请仅用所选类别回答。如果结果未明确提及或无法从给定信息中推断，请仅回答"不确定"。

请按以下格式回复：

对于摘要，以"Answer 1:"开头

对于判决，以"Answer 2:"开头

以下是案件描述：          
[案件描述...]

此步骤的输出包括摘要案例和标记的判决结果，格式如下：

{案件摘要，判决}=LLM(案件详情，最大令牌|di)。 （2）

对于每个法律案例di，我们将数据重新组织为新格式d′i，定义为：

d′i={标题，日期，法官，原告，原告律师，被告，被告律师，案件摘要}。

D′={(d′1,v′1),(d′2,v′2),...,(d′n,v′n)}. (4)

在将D′分为训练和测试数据时存在一些约束。我们确保所有法律案例至少具有五个判例关系。为确保训练平衡，训练数据集包含25%的以下每个类别：原告胜诉、被告胜诉、和解和案件驳回。我们还确保所有测试法律案例至少具有五个与训练数据集连接的判例关系，更多解释见第4.1节数据划分。

步骤2. 在步骤1之后，所有训练法律案例d′i使用OpenAI嵌入模型转化为高维向量。该向量数据库随后用于基于语义和上下文相似性检索前k个相似案例。

步骤3. 此步骤涉及将训练数据集中的判例案例关系转化为知识图谱（KG）。定义为KG=(E,R,L)，其中E表示实体，R表示二元关系（表示判例关系），L⊆E×R×E表示构成图边的三元组集合。每个三元组(es,r,et)∈L表示通过关系r从源实体es到目标实体et的有向边。KG数据结构简化了识别相关判例案例的复杂任务，将其转化为实体预测问题，即给定查询(es,r,?)，模型将预测缺失的实体。    

我们进一步为SCR、PCR和LJP任务定制数据处理，确保LawLLM的稳健和有效实施。

3.2 相似案例检索    

如图2右上角所示，SCR过程分为两个阶段：训练（步骤1-2）和测试（步骤3-4）。

训练阶段。在训练期间，每个训练案例d′i输入到向量数据库，生成前10个候选案例。这些案例随后按随机顺序排列，并格式化为SCR训练指令。以下是SCR模型输入的示例：

指令：    

您是一位法律专家，专门比较用户提供的法律案例与候选法律案例列表，其中包括标题和内容。您的主要功能是根据提供的描述，从列表中识别并输出最相似案例的标题。

您应仅输出案例标题，不包含任何其他信息。

考虑以下选项：

选项1：          
[案例1...]

选项2：

选项10：          
[案例10...]

输入：    

[输入案例...]    

在此场景中，SCR任务指令属于分类类别，为模型提供10个案例以选择最相似的一个。需要注意的是，前0个相似案例是案例d′i本身，因此在实际操作中，我们从向量数据库中检索前1到前10个相似案例，此选择中的前1个案例作为此训练任务的真实标签。

测试阶段。测试阶段与训练过程类似，我们最初从向量数据库中检索前10个相似案例。然而，在测试期间，我们检索排名从前0到前9的案例，因为测试案例本身不包含在向量数据库中。模型的预期响应取决于我们使用的评估指标：前1、前3和前5。对于前1指标，我们期望LawLLM将最相似案例识别为第一个结果。前3指标评估模型的答案是否在前三个检索到的候选案例中，而前5指标将此评估扩展到前五个候选案例。

3.3 判例案例推荐    

LawLLM中的判例案例推荐（PCR）采用了一种独特方法，利用判例案例知识图谱（KG），这与通常推测潜在判例关系的传统PCR方法不同。我们的系统依赖于已确认的判例对，如图2左下角所示，其中步骤1和2构成训练阶段，步骤3-5是测试阶段。

训练阶段。从先前建立的KG中，对于每个确认的三元组(es,r,et)，我们使用BERT嵌入[7]评估各种案例特征（如法官、案件详情、原告或被告）之间的相似性，记为{F1,F2,...Fj}。我们计算每个特征对F1i和F2i的相似性分数Si，如下：

Si=sim(BERT(F1i),BERT(F2i)), i∈{1−j}

所有特征中最高的相似性分数决定了其判例关系的主要因素：

主要因素=max(S1,S2,...,Sj).    

在创建训练输入时，我们为模型提供总共10个选项。真实判例案例et随机放置在这些选项中，其他9个选项填充来自向量数据库的相似但非判例案例。此设置旨在教导模型文本相似性不一定意味着判例关系。模型的预期输出包括正确的判例案例et及其选择理由（即哪个主要因素导致此判例关系）。以下是模型输入的示例：

指令：    

您是一位法律专家，专门比较用户提供的法律案例与候选法律案例列表，其中包括标题和内容。您的主要功能是根据提供的描述，从列表中识别并输出判例案例。

您应仅输出推理过程和案例标题。

考虑以下选项：

选项1：          
[案例1...]

选项2：

选项10：          
[案例10...]

输入：    

[输入案例...]

测试阶段。对于每个测试案例，由于我们确保训练数据集中至少存在五个判例案例，我们可以从KG（由训练数据集构建）中识别k个判例案例作为真实标签，其中k与前k评估指标一致。对于前1指标，选择一个真实判例案例，而对于前3和前5指标，分别选择3个和5个真实标签。剩余的10−k个位置填充相似案例。然后，模型的任务是从k个判例案例中选择一个，并解释其选择背后的推理。    

3.4 法律判决预测    

法律判决预测（LJP）处理利用数据预处理阶段构建的数据集D′。该数据集将每个处理后的法律案例d′i与其对应的判决v′i配对。如图2右下角所示，训练阶段包括步骤1，测试阶段包括其余步骤。

训练阶段。我们使用(d′i,v′i)建立一个四分类训练输入，原告胜诉、被告胜诉、和解或案件驳回。每个案例对应的判决v′i作为训练标签。以下是模型输入的示例：

指令：    

您是一位法律专家，专门预测法律案例的结果。利用您的内部知识库预测判决。您的主要功能是预测用户提供的法律案例的可能判决。

您应仅输出判决结果，不包含任何其他信息。

考虑以下选项：

• 被告胜诉
• 原告胜诉
• 和解
• 案件驳回

输入：    

[输入案例...]

测试阶段。在测试阶段，我们在零样本和少样本上下文学习（ICL）场景下评估LawLLM。在少样本ICL中，我们为每个测试案例d′i增强额外的上下文信息，一个相似案例和一个判例案例。其判例案例来自我们的KG，随机选择一个包含在测试输入中。同时，从向量数据库中检索一个最相似案例。这种方法确保模型的预测受到相关法律判例和相似案例事实的影响，从而提高判决预测的准确性和可靠性。    

3.5 统一模型微调    

我们的方法涉及对LawLLM采用统一的微调策略，利用包含三个任务的组合数据集。该数据集记为Datasetcombined=LJP⊕PCR⊕SCR。我们采用前沿的4位量化低秩适应（LoRA）技术对Gemma模型进行指令微调。我们在LoRA期间使用交叉熵损失函数L。它计算模型预测的令牌概率与预期输出序列中实际令牌概率之间的差异。在以下方程中，n表示预期输出序列的长度，x表示输入指令，yi表示预期输出序列中的第i个令牌。

4 实验    

在本节中，我们进行实验以评估LawLLM在三个任务上的性能：相似案例检索（SCR）、判例案例推荐（PCR）和法律判决预测（LJP）。

4.1 实验设置    

数据集。我们在CaseLaw数据集上进行实验，该数据集由哈佛法学院图书馆创新实验室作为CaseLaw项目[10]启动。该数据库包含来自美国各州和联邦法院的广泛案例。该项目主要致力于通过其案例访问项目（CAP）实现美国法律信息的民主化访问，旨在提供免费和公开的访问。我们实验中使用的CaseLaw数据集的统计数据如表1所示。

表1：数据集统计

评估指标。如前所述，我们采用前k指标来评估SCR和PCR任务的性能。具体来说，我们使用前1、前3和前5指标。这些指标衡量模型从10个选项池中识别正确答案的精确度。例如，前1指标要求模型返回前一个选择作为答案。前3和前5指标提供更多灵活性，允许正确答案在前三个或前五个选择中的任何位置。

除了前k指标外，我们还使用"未找到"指标评估模型的幻觉率。该指标跟踪完全虚构且与10个给定选择不匹配的响应比例。通过测量"未找到"率，我们旨在了解模型产生与提供选项无关答案的频率，从而洞察其可靠性。

对于LJP任务，我们采用准确率和F1分数[24]指标来衡量模型的性能。准确率计算所有案例中正确预测判决的比例，提供了整体预测性能的直接度量。F1分数范围从0到1，将精确率和召回率结合为单个调和平均值，提供了模型有效性的平衡评估。

数据划分。如前所述，我们的数据根据三个约束进行划分。

• 约束1：对于PCR，我们采用前k评估指标，这意味着每个案例必须至少具有五个判例案例，允许我们识别k个真实标签。
• 约束2：我们必须确保在评估测试案例时，其真实判例案例可以在由训练案例形成的知识图谱中找到。因此，每个测试案例必须至少在训练数据中存在五个判例案例。
• 约束3：为确保法律判决预测（LJP）的平衡模型训练，训练数据的判决分布应包含每个可能结果的25%：原告胜诉、被告胜诉、和解和驳回。

这些方法导致总共1,000,000个案例用于训练，200,000个案例用于测试。

比较基线。我们的模型针对包括LLaMa2-7b[30]、Gemma-7b[29]、Vicuna-13b[37]和Guanaco-13b[6]在内的先进基线进行评估，以及更大更先进的GPT-3.5和GPT-4模型[1]。每个模型都经过相同的测试阶段，以确保在法律领域内对其多任务能力进行一致和公平的比较。

实现细节。我们使用A40 GPU对模型进行了10个epoch的训练。为确保兼容性，我们监控输入令牌大小，将其限制在4096个令牌以内，以符合Gemma的最大令牌容量。此外，我们将模型的dropout率配置为0.1，并将学习率设置为2e^{-4}。

4.2 相似案例检索结果    

根据表2，LawLLM在所有类别中都优于基线模型。具体而言，它在前1、前3和前5检索率中实现了最高的准确率，分别为29.8%、63.2%和81.6%。值得注意的是，它还表现出最小的幻觉，如0.1%的未找到率所示。

表2：SCR测试结果

相比之下，GPT-4表现出强大的性能，前1、前3和前5准确率分别为27.5%、52.5%和70.5%，且未找到率低至0.5%。GPT-3.5也表现良好，尤其在前3和前5指标中。另一方面，像LLaMa2-7b和Guanaco-13b这样的模型显示出更高的未找到率，表明倾向于产生幻觉。

结果强调了我们的LawLLM模型在准确检索相似案例同时最小化生成无关或不存在案例风险方面的有效性。

4.3 判例案例推荐结果    

根据表3，LawLLM模型再次优于其他基线方法。它在前1率31.8%、前3率59.7%和前5率83.2%方面取得了最佳结果。此外，LawLLM模型表现出较低的未找到率0.1%。

在基线模型中，GPT-4表现强劲，在前1、前3和前5指标中具有高准确率，同时未找到率非常低，表明推荐可靠且准确。相比之下，像LLaMa2-7b和Guanaco-13b这样的模型显示出更高的未找到率，突显了提供相关案例推荐的挑战。总体结果表明LawLLM模型在PCR任务中的有效性，在准确性和可靠性方面都超过了基线模型。    

表3：PCR测试结果

比较SCR和PCR结果时，一个值得注意的发现是大多数基线模型在PCR任务中与SCR相比表现出性能下降。例如，GPT-4模型在SCR前k和"未找到"指标中得分为27.4%、52.6%、70.8%、0.5%，而在PCR任务中其得分降至26.2%、51.4%、69.7%和0.7%。这种下降突显了识别判例案例比相似案例更困难，因为模型在确定判例关系时不能仅依赖文本相似性。相反，它们必须考虑法律相关性等细微因素。这种性能差异强化了我们先前的断言，即判例案例与相似案例不同，强调了在法律领域中区分这两个概念的重要性。

我们进行了一项分析，以确定在top-1、top-3和top-5设置下，LawLLM在确定判例关系时主要考虑的因素。该分析涉及将我们的模型选择每个因素作为主要决定因素的频率与真实标签（GT）分布进行比较。如表4所示，GT分布主要偏向"案件详情"因素，对其他因素也有一定偏向。在top-1场景中，当10个选项中有1个正确判例案例和9个相似案例时，我们的模型强烈关注"案件详情"因素。这种偏向可能源于GT分布对"案件详情"的重视，导致我们的模型在面对众多作为潜在干扰的相似案例时优先考虑这一因素。然而，随着正确答案池扩展到top-3和top-5场景中的3个和5个，LawLLM开始略微多样化其关注点，包括其他因素，尽管"案件详情"仍然占主导地位。这一趋势表明，随着正确答案数量的增加，LawLLM会调整其关注点，采取更平衡的方法，同时仍反映GT数据的主要倾向。    

4.4 法律判决预测结果    

如表5所示，LawLLM在LJP任务的零样本和少样本场景中均超越了所有基线方法。在零样本场景中，LawLLM的准确率为0.636，F1分数为0.591，显著优于排名第二的GPT-4模型（准确率0.573，F1分数0.563）。在少样本场景中，LawLLM保持了其卓越性能，准确率达到0.794，F1分数为0.758。

这些结果相较于最接近的竞争对手GPT-4（准确率0.732，F1分数0.712）有显著提升。此外，所有模型在少样本上下文学习（ICL）场景中的表现均优于零样本设置。例如，LLaMA2-7b的准确率从0.235提升至0.473，F1分数从0.239提升至0.455。这一模式表明，所有模型都能通过结合少量ICL示例受益，从而更好地理解任务。

5. 结论与未来工作    

在本研究中，我们提出了法律大语言模型（LawLLM），这是一个专为美国法律领域设计的多任务LLM。通过为每个任务定制独特的数据处理技术，LawLLM能够有效处理相似案例检索（SCR）、判例案例推荐（PCR）和法律判决预测（LJP）。此外，我们强调了判例关系与文本相似性之间的关键区别，为未来开发任务专用模型的研究提供了重要见解。我们的实验结果一致表明，LawLLM优于现有基线模型，展现了其卓越的多任务能力。    

未来，我们计划通过纳入更多法律任务来扩展LawLLM的范围，进一步提升其多功能性和实际适用性。这将涉及探索法律分析中的新兴挑战，并整合反映多样化法律背景的新数据集。此外，我们计划改进数据处理技术和上下文学习方法，以增强模型对法律细节和判例的理解。

本文转载自公众号AIRoobt ，作者：Dong Shu等

原文链接：​​https://mp.weixin.qq.com/s/5lPoaiOz7dVo6GsgE86aqw​​