Search-R1：让大模型学会“检索+推理”的新范式

今天分享一篇伊利诺伊大学的文章，标题为：Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning（Search-R1：利用强化学习训练LLM进行推理并利用搜索引擎）。

这篇文章是关于如何训练大型语言模型（LLMs）有效地利用搜索引擎来增强其推理和文本生成能力。论文提出了一个名为SEARCH-R1的框架，该框架仅仅通过强化学习（RL）让LLM学习如何在逐步推理过程中自主生成搜索查询并与实时检索交互。
该方法特点总结如下：1）使用检索token mask技术稳定RL训练，2）支持多轮交错推理和搜索，以支持复杂的任务解决，3）设计了一个简单而有效的基于结果的奖励函数。通过在七个问答数据集上的实验，SEARCH-R1在三个LLM上实现了相对于SOTA基线的显著性能提升。

主要特点：

1.将搜索引擎建模为环境的一部分: SEARCH-R1将搜索引擎建模为环境的一部分，实现了LLM token生成与搜索引擎检索的交错序列。

2.支持多轮检索和推理: SEARCH-R1 支持由 ​​<search>​​​ 和 ​​</search>​​​ 标签触发的显示搜索，检索到的内容位于 ​​<information>​​​ 和 ​​</information>​​ 标签内。

3.简单的奖励函数: 采用直接的基于结果的奖励函数，避免了复杂的基于过程的奖励。

一、概述

•Title:Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning

•URL:​​ https://arxiv.org/abs/2503.09516v1​​

•Authors:Bowen Jin, Hansi Zeng, Zhenrui Yue, Dong Wang, Hamed Zamani, Jiawei Han

•Institutions:University of Illinois at Urbana-Champaign, University of Massachusetts Amherst

•Code:​​ https://github.com/PeterGriffinJin/Search-R1​​

1.Motivation

• 大型语言模型（LLMs）在复杂推理和从外部来源检索最新信息方面面临挑战（LLM非常吃外部的检索知识）。

• 现有的LLM与搜索引擎集成方法缺乏复杂的多轮检索灵活性或需要大规模的监督数据。

• 提示工程方法在推理时利用LLM来使用搜索引擎并不理想，因为LLM没有学会如何以最佳方式与搜索引擎交互。

• 总结：Å（将DeepSeek R1的强化学习方法用于Search链路还没人做过!!!）

2.Methods

SEARCH-R1通过强化学习让LLM在推理时与搜索进行交互。 将搜索作为环境的一部分，采用 multi-turn 检索，并用简单的 outcome-based reward。 在多个问答数据集上效果显著。

详细方法和步骤:

论文提出了一种新的强化学习框架SEARCH-R1，使LLM能够以交错的方式与搜索引擎进行交互。具体步骤如下：

• 将搜索引擎建模为环境的一部分：SEARCH-R1将搜索引起作为环境的一部分， 让模型与环境交互，从而得到 reward。
• 支持多轮检索和推理：SEARCH-R1通过特定的标签（​​<search>​​​,​​</search>​​​,​​<information>​​​,​​</information>​​​,​​<think>​​​,​​</think>​​​,​​<answer>​​​,​​</answer>​​）来支持多轮检索和推理。
• 采用 retrieved token masking:为了稳定优化，SEARCH-R1采用 retrieved token masking, 只对LLM生成的 token 进行优化，检索的内容不参与优化。
• 优化算法兼容性：SEARCH-R1 与各种 RL 算法兼容，包括 PPO 和 GRPO。
• 简单结果奖励函数：避免复杂的基于过程的奖励, 采用简单的基于结果的奖励函数（字符串匹配作为reward!!!）。

3.Conclusion

• SEARCH-R1在七个问答数据集上实现了显著的性能提升，平均相对提升达到26%（Qwen2.5-7B）、21%（Qwen2.5-3B）和10%（LLaMA3.2-3B）。

• SEARCH-R1可以成功应用于基础模型和指令调整模型，并且在不同的LLM架构中具有通用性。

• 论文还深入分析了RL训练策略，包括RL方法选择、LLM选择和响应长度动态，为未来研究提供了有价值的见解。

4.Limitation

•奖励机制的设计相对简单，仅依赖于最终结果的评估，可能无法充分捕捉到中间推理步骤的质量。

• 动态检索调整，基于不确定性的动态检索调整，需要进一步探索。

二、详细内容

1.SEARCH-R1 在多个数据集上始终优于baseline，包括 Qwen2.5-7B、Qwen2.5-3B 和 LLaMA3.2-3B

2.不同RL方法在不同基座模型上的影响

说明：展示了在四个 LLM 上使用 PPO 和 GRPO 作为基础 RL 方法训练 SEARCH-R1 的动态过程。

总结1：GRPO 通常收敛速度更快，但在某些情况下可能表现出不稳定性，而 PPO 提供了更稳定的优化，但收敛速度较慢。

总结2：GRPO 在训练 LLAMA3.2-3B-Instruct 模型时出现了奖励崩溃现象，而 PPO 在不同的 LLM 架构中保持稳定。

3.SEARCH-R1 在base model和instruct model的表现对比

总结1：指令模型收敛速度更快，并且初始性能更好，但两种模型的最终性能非常相似。

总结2：Instruction Tuning 加速了学习过程，但最终性能与基础模型相当。

4.检索token损失mask对效果提升非常大

image-20250318151512229

总结1：(a) 响应长度在整个训练过程中呈现先减少、后增加、再稳定的趋势，与 LLM 的整体性能轨迹一致。

总结2：(b) 展示了检索到的 token 损失遮蔽研究，检索 token 损失遮蔽可以带来更大的 LLM 效果提升，减轻发生意外的优化效果，并确保更稳定的训练动态。

5.在七个不同数据集上使用 PPO 和 GRPO 的 SEARCH-R1 的性能对比

总结1：GRPO 通常优于 PPO，并且指令model优于base model。

总结2：Qwen2.5-3B 的最佳配置是 SEARCH-R1-Instruct (GRPO)，平均得分为 0.365。LLaMA3.2-3B 的最佳配置是 SEARCH-R1-Base (GRPO)，平均得分为 0.324。

6.Case Study: Search-R1能持续与真实数据进行交互

三、总结

结论1: SEARCH-R1 显著提升了LLM在需要实时外部知识的复杂推理任务中的能力。 通过强化学习，LLM可以自主生成查询并有效利用检索到的信息，优于传统的RAG方法。

结论2: SEARCH-R1在不同LLM架构和训练方法上具有广泛的适用性。 实验结果表明，无论使用基础模型还是指令调整模型，SEARCH-R1都能带来显著的性能提升，且对不同的RL算法（如PPO和GRPO）具有兼容性。

结论3: SEARCH-R1有很强的实用价值。 SEARCH-R1能够显著提高LLM在需要实时外部知识的复杂推理任务中的能力。 可以用于智能问答，智能助手等领域。

本文转载自​​NLP PaperWeekly​​，作者：NLP PaperWeekly