与OpenAI的Q*道殊同归？斯坦福团队发现语言模型的新路径为Q函数

传统上LLM被视为复杂的文本生成器，能够在给定输入的基础上产生连贯且相关的输出。斯坦福大学的最新研究《From r to Q∗: Your Language Model is Secretly a Q-Function》（论文链接：​​​https://arxiv.org/abs/2404.12358​​​​）为我们提供了一个全新的视角，它将LLM视为Q函数，这是强化学习中用于评估行动预期效用的关键工具。这一创新观点不仅挑战了我们对LLM的传统认知，也为未来AI的发展方向提供了可能的新路径。

这个观点提出了一个有趣的假设，即语言模型可以被视为 Q 函数，这是强化学习中用于评估在给定状态下采取特定行动的预期效用的函数。这种理论上的转变可能会对我们如何使用和理解大型语言模型（LLM）产生深远的影响。如果将语言模型视为 Q 函数，那么我们可能会更加深入地探索如何通过强化学习方法来优化它们，从而更好地对齐模型输出与人类意图。

有媒体推测OpenAI神秘的Q* 很可能是 Q 强化学习和 A* 搜索这两种 AI 方法的结合，也许 OpenAI 秘密的 Q* 项目或许真的是造就 AGI 的正确方向，至于 OpenAI 的 Q* 项目是否正是这种 Q 函数的实际应用，或者是否将 Q 强化学习与 A* 搜索结合起来，目前还没有公开的详细信息来证实这一点。但是这种假设确实指向了人工智能研究中的一个潜在的、令人兴奋的方向，即探索不同类型的算法和模型结构，以创造更智能、更适应性强的系统。这也可能是朝着通用人工智能（AGI）发展的一步。不过这些都还处于猜想和理论探讨阶段，需要更多的研究和实验来验证，或许万众期待的ChatGPT-5将会为我们揭秘这一切。

论文的核心观点在于LLM可以被训练来优化特定的Q函数，从而直接对齐人类意图和模型输出。这种方法被称为直接偏好优化（DPO），它通过在多臂赌博机设置中同时优化奖励函数和策略，实现了对LLM的直接对齐。这一发现可能对AI领域产生深远影响，尤其是在自然语言处理、对话系统设计以及通用人工智能（AGI）的构建上。

Q函数在强化学习中扮演着至关重要的角色，它代表了在特定状态下采取某个行动所能获得的预期回报。通过将LLM视为Q函数，研究者们可以利用强化学习的方法来优化模型，使其更好地与人类意图对齐。这一理论的提出，不仅为我们理解LLM提供了新的视角，也可能对AI领域的未来发展产生重要影响。

1.直接偏好优化（DPO）方法概述

DPO方法的定义与工作原理

直接偏好优化（DPO）是一种新兴的机器学习方法，它旨在直接通过用户反馈来优化语言模型的输出。与传统的强化学习方法不同，DPO不依赖于一个预先定义的奖励函数。相反，它使用从用户反馈中提取的信号来调整模型的行为，使其更加符合用户的偏好。

与经典的RLHF不同，DPO（如Rafailov等人在2023年推导的）完全保持在上下文bandit设置中，并且还使用了基于bandit的偏好模型。为了避免使用RL算法，DPO使用了KL-contextual bandit版本的RL问题的众所周知的闭式解：

其中π∗是最优策略，Z(x)是归一化的分区函数。DPO重新排列这个方程，以解出奖励：

将这个关系代入用于奖励建模的标准二进制交叉熵损失函数中，得到DPO的损失方程，因为分区函数Z(x)从Bradley Terry模型中消除。

在DPO中，模型的每个输出都被视为一个“臂”，而用户的反馈则被用作评估这些“臂”的“奖励”。通过这种方式，模型学习哪些类型的输出更可能获得正面的用户反馈，并倾向于在未来的预测中生成类似的输出。

DPO与传统强化学习方法的对比

传统的强化学习方法通常依赖于一个明确的奖励函数来指导模型的学习过程。这个奖励函数定义了在给定的状态和行动下应该获得的奖励。但是定义一个能够准确反映复杂任务目标的奖励函数往往是非常困难的。

DPO方法的一个关键优势在于它不需要这样的奖励函数。它直接利用用户的反馈来指导模型的学习，这使得它在处理那些难以用传统奖励函数描述的任务时更加有效。

DPO在实际应用中的优势

DPO方法在实际应用中的一个主要优势是它的灵活性和适应性。由于它直接依赖于用户反馈，DPO能够适应用户的变化偏好，并且能够在没有明确奖励函数的情况下进行优化。

此外DPO还能够处理那些传统强化学习方法难以处理的任务，如那些需要细粒度评估和长期策略规划的任务。通过直接从用户反馈中学习，DPO能够在这些复杂的任务中找到有效的策略。DPO为优化语言模型提供了一个直接、灵活且高效的方法，特别是在那些传统强化学习方法难以应用的领域。

2.DPO在令牌级别的解释能力

令牌级别的奖励函数与策略优化

直接偏好优化（DPO）方法在令牌级别的应用中，展现了其独特的优势。在这个层面上，每个令牌（即单词或字符）都被视为一个决策点，模型需要在这些决策点上做出最优选择以生成最终的文本输出。DPO通过评估每个令牌对整体输出质量的贡献来优化策略，这种方法允许模型在生成文本时进行更精细的调整。

在令牌级别上，奖励函数的作用是为每个可能的令牌选择提供一个评分，这个评分反映了该选择对于达成目标的贡献程度。DPO方法通过用户反馈来动态调整这些评分，使得模型能够学习到哪些令牌选择更能满足用户的偏好。

DPO如何实现信用分配

信用分配是机器学习中的一个重要概念，特别是在强化学习和序列决策问题中。它涉及到如何合理地将成功或失败的责任分配给序列中的各个决策。在DPO框架下，信用分配通过对用户反馈的分析来实现。模型不仅学习到了哪些令牌选择是好的，而且还学习到了为什么它们是好的。

例如，如果一个特定的词汇选择在用户反馈中得到了积极的评价，DPO会增加该词汇在未来类似上下文中被选中的概率。相反，如果一个词汇选择导致了负面反馈，那么模型会学习到在类似情境下避免使用它。

图1：DPO 中基于答案级别反馈的学分分配。我们提供两个摘要到 Reddit 上关于工作面试的帖子。左边是基本响应，右边是我们的引入了薪资范围和职位级别的错误。每个标记的颜色对应于DPO 隐性奖励如方程式所示。11（颜色越深越高），使用经过训练的模型。我们看模型正确地突出显示了错误的陈述，而对的值没有太大改变其他令牌，表示进行信用分配的能力。

在这一节中，我们定性评估DPO训练模型是否能够从轨迹反馈中学习信用分配。我们从Reddit帖子的通用集合开始进行TL;DR测试数据集，我们在附录C中提供了额外的示例。在我们的代表性示例中，用户讨论了一种就业谈判情况。图1中显示了两个答案。左边提供的是正确的基础摘要。在右边，我们通过引入更高级别的职位和相应更高的薪资来修改摘要。对于两个答案中的每个令牌，我们计算了DPO等效奖励（优势），r(s, a) = β log πθ(s|a) − β log πref(s|a)，其中πθ如定理1所述（这里πθ是我们的DPO训练模型，πref是SFT模型）。在图1中，每个令牌的颜色与这个奖励成比例。我们看到模型成功地识别了与错误声明相对应的令牌，同时仍然保持了其他部分的可比值，这表明它可以进行信用分配。此外，我们看到在第一个错误（“250K"薪资）的上下文中，模型仍然为其他令牌分配了合理的值，并特别识别了第二个错误"管理职位”。这是一个有希望的迹象，表明它能够进行"缝合"Levine等人（2020），即从离线数据中进行组合泛化的一种形式。如果是这样，我们的发现可能对于在LLMs中使用强化学习和RLHF具有重要意义。同时，在最近引入的RewardBench Lambert等人（2024）中，DPO模型在推理任务上展示了强大的分类性能。我们认为这些是鼓舞人心的结果，值得进一步的大规模研究。

DPO在组合泛化中的应用

组合泛化是指模型的能力，能够将学到的知识和模式应用到新的、未见过的情境中。DPO通过在令牌级别上进行优化，为模型提供了学习如何将不同的令牌组合成有意义和符合用户偏好的输出的能力。

在实际应用中，这意味着DPO训练的模型能够更好地处理新的用户查询和任务，即使这些任务在训练数据中没有直接的例子。通过这种方式，DPO有助于创建更灵活、更适应性强的语言模型，这些模型能够在多变的真实世界情境中表现出色。

DPO在令牌级别的解释能力为语言模型的优化提供了一个强大的工具，它通过精细的信用分配和组合泛化能力，使模型能够更好地适应用户的具体需求和偏好。这种方法的应用前景广阔，从提高对话系统的互动质量到创建更准确的文本生成模型，DPO都显示出了巨大的潜力。

3.经典搜索算法与DPO策略的等效性

经典搜索算法的原理

经典搜索算法在人工智能领域中扮演着重要角色，特别是在决策问题和规划任务中。这些算法旨在在大规模的状态空间中寻找最优解或接近最优解的策略。

1.深度优先搜索（DFS）：从根节点开始，沿着一个分支一直探索到底，然后回溯到上一层，继续探索其他分支。DFS通常用于树结构或图搜索。

2.广度优先搜索（BFS）：从根节点开始，逐层探索，先探索所有相邻节点，然后再探索下一层。BFS通常用于图搜索和状态空间搜索。

3.A*搜索：结合了启发式信息和实际代价的搜索算法。它使用估计的最优路径成本（启发式函数）来指导搜索，以便更快地找到目标状态。

DPO策略与搜索算法的关联

DPO方法与经典搜索算法之间存在一定的关联。尽管DPO不是传统的搜索算法，但它在令牌级别上的优化过程与搜索算法的思想有相似之处。

具体来说DPO在令牌级别上对模型的输出进行调整，类似于搜索算法在状态空间中探索不同路径。DPO通过评估每个令牌的贡献来优化策略，类似于搜索算法在状态之间选择最优路径。

图2：使用波束搜索的模型性能。左图：在Reddit TL的256个测试提示上，模型生成的摘要相对于首选摘要的胜率；由GPT 4评估的DR数据集。右图：基于梁数的平均答案长度。我们看到超过5个波束的冗长程度呈爆炸式增长，这也导致了较低的模型获胜率，尽管GPT4有众所周知的偏好长度偏差。

等效性对AI策略优化的意义

DPO与搜索算法的等效性对于AI策略优化具有重要意义。它为我们提供了一种新的视角，即将搜索算法的思想应用于令牌级别的优化。这有助于更好地理解DPO方法的工作原理。

等效性意味着我们可以借鉴搜索算法中的一些启发式方法，将其应用于DPO中。例如，我们可以使用启发式函数来评估每个令牌的贡献，类似于A*搜索中的估计路径成本。

DPO与搜索算法的等效性为我们提供了一种跨领域的思考方式，有助于改进策略优化方法，使其更加高效和灵活。

4.参考策略选择对隐含奖励的影响

参考策略的重要性

在强化学习中，参考策略是指用于比较和评估其他策略性能的基准策略。选择适当的参考策略对于模型的训练和优化至关重要。

1.性能评估：参考策略作为一个标准，用于评估其他策略的性能。通过与参考策略的比较，我们可以了解模型是否在特定任务上表现良好。

2.信用分配：参考策略帮助我们分配奖励或惩罚给不同的决策。模型可以根据参考策略的表现来调整自己的策略，从而更好地对齐用户的意图。

隐含奖励在模型训练中的角色

隐含奖励是指在训练过程中未直接明确定义的奖励信号。它通常来自于用户的反馈、任务目标或其他隐含的信息。在语言模型中，隐含奖励可能包括用户的满意度、文本生成的流畅性、信息的准确性等。

模型的训练目标是最大化总体奖励，包括显式奖励和隐含奖励。因此，合理选择参考策略对于隐含奖励的有效分配至关重要。如果参考策略能够准确地反映用户的偏好，那么模型就能更好地学习到如何生成更有意义、更符合用户期望的文本。

表面上对DPO的解释可能会让人认为它增加了选择响应的可能性，同时降低了被拒绝响应的可能性。然而，这并没有解释一个众所周知的现象，即选择的响应的可能性实际上会随着时间的推移而降低（Pal等人，2024）。这在图3的左半部分得到了说明，我们展示了在DPO之前进行SFT时，选择和拒绝响应的隐含奖励都会下降，尽管它们之间的差距会增加。然而，给定一个最大熵RL框架，这种现象可能是预期的。

图3：TLDR 上的 DPO（左）和垃圾箱拣选上的 CPL 隐性奖励的演变训练期间的数据（右）。我们看到，当我们开始使用 SFT 时，奖励值会减少，而在没有 SFT 的情况下开始会导致 DPO 的隐性奖励为正，而 CPL 的隐性奖励会增加。

如何合理选择参考策略

选择参考策略需要综合考虑多个因素。

1.任务目标：参考策略应该与任务目标一致。例如，在对话系统中，参考策略可以是一个已经训练良好的对话模型，或者是人类生成的对话。

2.用户反馈：参考策略应该考虑用户的反馈。如果用户更喜欢某种类型的回复，那么参考策略应该能够反映这一点。

3.领域知识：参考策略可以基于领域知识，例如专家的意见或先前的研究成果。

合理选择参考策略需要综合考虑任务目标、用户反馈和领域知识，通过选择合适的参考策略，我们可以更好地优化模型，使其生成更有意义、更符合用户期望的文本。

5.论文的实验结果与分析

DPO方法的实验设计

在论文中，研究团队对DPO方法进行了一系列实验，以验证其有效性和性能。

以下是实验设计的关键要点：

1.数据集选择：研究人员使用了多个不同领域的数据集，包括自然语言处理、对话系统和文本生成任务。这些数据集涵盖了不同类型的文本和任务。

2.模型架构：为了测试DPO方法，研究人员选择了几种常见的大型语言模型，如BERT、GPT等。这些模型在不同任务上进行了微调，以适应特定的实验需求。

3.评估指标：为了衡量DPO方法的性能，研究人员使用了多个评估指标，如BLEU、ROUGE、人类评分等。这些指标用于评估生成文本的质量、流畅性和相关性。

实验结果的详细分析

研究人员对实验结果进行了详细的分析，以探讨DPO方法的优势和局限性。

以下是一些关键发现：

1.性能改进：DPO方法在多个任务上都取得了显著的性能改进。与传统的强化学习方法相比，DPO能够更好地对齐用户意图，生成更有意义的文本。

2.隐含奖励的作用：实验结果表明，DPO方法能够更好地利用隐含奖励，使模型在训练过程中更快地收敛并生成更优质的文本。

3.泛化能力：DPO方法在组合泛化方面表现出色。模型在训练中学到的知识能够很好地应用到新的、未见过的情境中。

实验结果对理论的支持程度

实验结果对论文中提出的理论观点提供了有力的支持，DPO方法的性能改进、隐含奖励的有效利用以及泛化能力的展示都与论文中的理论框架相吻合。实验结果证明了DPO方法的有效性，并为将其应用于更广泛的自然语言处理任务提供了理论和实践的支持。

6.论文的理论贡献与实践意义

论文对强化学习理论的贡献

《From r to Q∗: Your Language Model is Secretly a Q-Function》这篇论文在强化学习领域提出了一个新颖的视角，即将大型语言模型（LLM）视为Q函数。

这一观点对于强化学习理论和实践都具有重要意义。

1.理论拓展：论文的提出为强化学习理论拓宽了研究方向。传统上，我们将Q函数与强化学习中的智能体状态和行动关联，而现在我们可以将LLM作为一种特殊的Q函数来研究。

2.新的优化方法：将LLM视为Q函数，使得我们可以借鉴强化学习中的优化方法来改进LLM。这为更好地训练和优化LLM提供了新的思路。

LLM作为Q函数的实践应用前景

将LLM视为Q函数的实践应用前景广泛而有趣。

1.对话系统：基于DPO方法，我们可以更好地训练对话模型，使其更好地对齐用户意图，生成更自然、流畅的对话。

2.文本生成：通过优化LLM作为Q函数，我们可以改进文本生成任务，使其更加符合用户期望，同时保持语法正确性和信息准确性。

3.通用人工智能（AGI）：LLM作为Q函数的概念可能有助于构建更智能、更通用的人工智能系统。通过将LLM与强化学习方法相结合，我们可以更好地实现通用性。

对AI研究方向的启示

这篇论文为未来AI研究方向提供了一些启示。

1.跨领域思考：将不同领域的理论和方法相互结合，可能会产生令人意想不到的新发现。我们应该鼓励跨领域的思考和合作。

2.从不同视角审视问题：将LLM视为Q函数是一个非传统的视角，但它为我们提供了新的思考方式。我们应该不断尝试从不同的视角审视问题，以寻找更好的解决方案。

总之，这篇论文不仅在理论上拓宽了我们对LLM的认知，也为实际应用提供了新的思路。它对于推动自然语言处理、对话系统和通用人工智能的发展具有积极的影响。

参考资料：https://arxiv.org/pdf/2404.12358.pdf

本文转载自​​大噬元兽​​，作者： FlerkenS ​​​​