大模型思维链升级之DoT框架 原创

本文介绍LLM大模型中其中一种思维链DoT。

尽管传统的思维链方法使大型语言模型能够进行“思考”，例如思维树和思维图方法通过引入分叉结构来探索多种推理路径。然而，这些方法通常需要额外的控制机制或依赖多个模型的协同工作，这无疑增加了实现和部署的难度。

清华大学的研究团队最近提出了一个新的思维链框架思维图（Diagram of Thought， DoT），号称是能够超越线性思维的突破。

感兴趣的小伙伴可以看看原文：​​https://arxiv.org/pdf/2409.10038v1​​

DoT框架

DoT框架的独到之处体现在其将推理活动完整地构建为一个单一大型语言模型（LLM）内的有向无环图（DAG）。这种策略有效地捕捉了推理过程中的非线性和递归性，同时确保了计算的高效率。

DoT框架在单个LLM内部通过管理三个关键角色来完成思维链的构建：

• 提议者（Proposers）：负责提出新的论点或逻辑步骤，并将这些新内容作为节点加入到有向无环图（DAG）中。
• 批评者（Critics）：负责对提出的论点进行评估，识别其中的错误、不一致性或逻辑上的缺陷，并在DAG中添加相应的批评节点。
• 总结者（Summarizers）：负责将经过验证的论点整合成一个连贯的推理链条，这本质上是对DAG进行拓扑排序，以生成最终的推理结果。

DoT推理步骤

上图为论文中的推理步骤过程图，具体可以分为8个步骤：

1. 起点设定：推理的起始点位于图的顶部，通常由提议者角色来启动。
2. 初始命题形成：提议者负责提出初始命题P1，该命题在图中以虚线圆圈表示，凸显了提议者在推理启动阶段的核心作用。
3. 评估与修正：批评者角色对初始命题P1进行审查，并提出批评C1。这一过程在图中通过从P1指向C1的箭头表示。基于批评，提议者再次介入，提出经过改进的命题P1'。
4. 迭代优化：命题P1'继续接受批评C2的检验。这一过程可能需要多次迭代，展示了提议者与批评者之间的动态互动，直至命题得到验证（图中标记为"P1' (Verified)"）。
5. 多路径探索：DoT框架的优势在于能够并行探索不同的推理路径。例如，命题P3代表了另一条推理路径，并且也经历了批评和验证的过程。
6. 验证命题的汇总：当多个命题如P1' (Verified)和P3 (Verified)通过验证后，总结者角色介入。在图的底部，这些经过验证的命题汇聚并进入总结阶段。
7. 无效命题的排除：图中的虚线圆圈表示那些被判定无效的命题，这些命题不会被纳入最终的总结，体现了批评者在确保推理质量中的关键角色。
8. 综合推理链：所有经过验证的命题最终由总结者整合，形成完整的推理链。在图中，这一过程体现在底部的"Summarization"节点。

总结

借助这种明确的角色分配和系统化的推理步骤，DoT框架能够在单一的大型语言模型内部有效地处理复杂的推理任务。该框架不仅支持多条推理路径的并行发展，还通过持续的批评和修正机制来保证推理的准确性。这种方法显著提升了模型解决复杂问题的能力，同时确保了推理过程的清晰度和可解释性。

文转载自公众号瓦力算法学研所，作者：喜欢瓦力的卷卷

原文链接：​​https://mp.weixin.qq.com/s/abeHKVG-AE9WBq3UJlu9Rw​​​