从openAI最新模型GPT-o1再谈思维链(Cot)技术，大模型该怎么提升其逻辑推理能力？ 原创

“ 推理能力是大模型迈向AGI的必经之路 ”

最近openAI发布了号称史上最强模型——o1，其具有强大的逻辑推理能力，号称能达到人类的博士生水平。

而从o1模型的评测来看，o1模型在数学竞赛，编码，科学问答等方面表现良好，甚至高出了GPT4o一大截。

而且，o1在物理，化学，生物，逻辑学等其它领域，相比GPT4o都得到了巨大的提升。

而据介绍o1模型之所以具有如此强大的逻辑推理能力，就是因为使用了思维链技术；当然，目前官方并没有公布o1的核心技术理论，因此也不排除o1模型使用了其它更加强大的逻辑推理技术。

大模型之思维链技术

在前面的文章中也简单介绍过大模型的思维链技术——大模型推理引擎之思维链技术，里面介绍了思维链的基本逻辑以及其实现原理。

简单来说，思维链技术就是模拟人类的思维方式，在面对复杂问题时，让大模型像人类一样思考，把复杂问题拆分成简单的步骤，然后通过调用工具一步一步地去完成。

而大模型还有哪些能够提升其逻辑推理能力的技术或方法？今天就来盘点一下提升大模型逻辑推理的黑科技。

初级推理技术

大模型初级推理技术的核心是，把大型复杂的任务，分解成一个一个的简单的小任务。

主要包括，思维链(CoT)，自洽性思维链(CoT-SC)，思维树(TOT-tree of thought)等技术。

思维链

思维链全称Chain of Thought，就是把任务进行拆解，适用于各种推理任务，比如数学，逻辑判断等，思维链的优点就是不用对模型进行训练和微调。

在思维链技术中，可能还会使用到零样本(zero-shot prompt)提示和少样本提示(few-shot prompt)等技术。

自洽性思维链

所谓的自洽性思维链，是指对同一个问题，生成多个不同的思维链技术，并让模型从中挑出最合适的方案。

思维链技术并不稳定，其效果取决于大模型的能力，而如果让大模型进行发散性思维，通过多种不同的方式解决问题，然后从中找到最优解，这就是自洽性思维链。

思维树

思维树(TOT)是对思维链(CoT)的进一步扩展，在思维链的每一步，推理出多个分支，拓扑展开成一棵思维树。使用启发式的方法评估每个推理分支对问题解决的贡献。

使用搜索算法，如广度搜索或深度搜索算法等来探索思维树，并进行前瞻和回溯。

中级推理技术

初级推理技术的优点是简单，缺点是结果不可控，推理过程与结果完全由大模型本身自由发挥，即使出错也没有纠错机制。

因此，以ReAct，Plan & Execute和Self Discover为代表的中级推理技术就出现了。

其会约束大模型的推理方向，并根据环境反馈进行纠错。

ReAct

ReAct全称Reasoning and Acting，意思就是推理与行动，来解决多样化的语言推理与决策任务。

其典型的流程是Thought-思考——Action-行动和Observation-观察；思考与行动都比较容易理解，观察其实就是一个反馈的过程，把任务执行的步骤记录下来进行观察，根据观察结果进行调整。

这样经过思考——行动——观察——再思考——再行动——再观察的过程，经过多次循环，最终达到目的。

Plan & Execute 

Plan & Execute 方法的本质是先计划再执行，从名称就可以看出，计划 & 执行，通过把问题拆分成一个一个的子任务，根据情况调整执行计划。

Self-Discover 

Self-Discover主要包含两个阶段：

阶段一：自发现特定任务的推理结构

阶段二：应用推理结构

高级推理技术——Reflexion 和 LATS

初级推理和高级推理虽然能解决一些简单的任务，但对一些更复杂，思维链路更长的任务就束手无策了。

因此，高级推理技术就出现了，Reflexion和LATS的核心思想就是通过强化学习的方式来解决更复杂的任务场景。

Reflexion

Reflexion 的本质是强化学习，它主要由三部分组成，参与者——Actor，评估者——Evaluator和自我反思——Self-Reflection。

Reflexion 旨在通过反思过去的错误，并把这些知识纳入未来的决策，用以帮助Agent提升表现能力。因此，Reflexion非常适合那种通过反复实验得到结果的任务，比如决策，推理，编程等。

LATS——Language Agent Tree Search

LATS技术全称是——Language Agent Tree Search，简单来说就是Tree search + ReAct + Plan&Execute+ Reflexion，因此可以说LATS技术是目前最强的推理技术，集百家之长。

这里的ReAct，Plan & Execute 和Reflexion在前面的内容中都简单介绍过，这里要再介绍一下Tree Search。

Tree Search是一种树搜索算法，LATS使用蒙特卡罗算法(MCTS)，通过平衡搜索找到最优决策路径。

总之，大模型的推理能力是迈向AGI的基础，也是Agent未来应用的基石。

本文转载自公众号AI探索时代 作者：DFires

原文链接：​​https://mp.weixin.qq.com/s/_8IQuXHPD1pjG1aaNh9q6w​​​