深入理解思维树 (ToT)策略提示词设计 原创 精华

Prompt的技巧策略应适应LLM大模型框架进行改进，主要框架包括链式思考、思维树和检索增强生成。本文将深入学习思维树，探讨如何建立解决通用问题的语言模型，并使LLM深思熟虑地解决问题。思维树是进化版的提示策略，引入复杂思维结构，以引导模型生成准确、连贯的输出。

一、何为思维树(ToT)

想象一下，你正在驾驶一辆汽车，没有地图的情况下如何进入正确的路口，找到最佳的路径？在这样的场景下，思维树就像是一张详细的道路地图。在这张地图上，不同的道路代表着不同的语义信息，而交叉口和路标则代表着不同的思维节点。当你提出一个问题或者输入一个请求时，就相当于输入了目的地，而思维树会根据你的输入在地图上找到最佳的路径，指引你达到目的地。

思维树作为一种新型导航系统，在智能和灵活性方面超越了传统模型。它不仅规划出最短路线，还根据个人需求和具体情境进行路线调整。

例如，在提出问题时，思维树能够综合考虑问题的多维度，探索多条相关路径，并呈现多样化的解决方案。

随着问题表述的更改或更多信息的添加，思维树能够动态调整其路线规划，以提供更加精确的答案。这种系统如同一个富有洞察力的向导，助力我们更深入地理解和生成自然语言，确保信息输出的准确性和连贯性。

ToT框架的核心概念是以树状结构来表示语义信息。这种结构是一个数据形式和抽象概念，帮助模型理解输入序列的语义信息并在生成输出时参考这些信息。它使得ToT框架能更好地模拟人类思维，产生自然、准确的文本。

ToT的具体回答框架包括以下四个问题：

1. 举一反三，列举多路径通罗马
2. 分布评估，集成方案，选择最优
3. 启发性地评估状态，前后枚举追溯，全局最优
4. 集成开搜，确定路径

图1：展示了利用LLMS解决问题的方法。每个框表示一个连贯的思考过程，作为解决步骤。

二、TOT核心框架

ToT核心框架的讲解深入，但本文避免使用复杂公式。

CoT方法通过逐步展示模型的响应过程，降低了结果不准确的风险并简化了评估。这种方法不仅显示最终答案或解决方案，还展示了达到答案的具体步骤，特别适用于教育和解释复杂问题，以及需要详细说明决策过程的情况。它让用户能够跟踪模型的思考过程，理解从问题描述到结论的路径。

ToT(Tree of Thoughts)被视为CoT (Chain of Thoughts)的升级版，主要是因为它在表示和利用语义信息方面更加强大和灵活。ToT使用树状结构表示语义信息，与CoT的线性链式不同，ToT能更好地捕捉和表示复杂语义关系，提高对自然语言的理解和生成。

通过引入树状结构，ToT能够同时考虑多个思维路径，不仅限于单一线性结构。这使得ToT能根据不同的语境和需求生成多样化的输出，实现语义的分层和组织。

在ToT框架中，节点代表语义单元如概念或主题。节点通过边相连形成关联网络。模型接收序列后寻找相关节点并据此生成输出。

ToT框架能同时考虑多条思维路径并根据语义信息动态调整输出策略，使其生成文本灵活、多样化并适应不同语境。

三、ToT框架推理流程

示例如下：

我们想用基于思维树的模型回答“为什么天空是蓝色的”。

1. 输入问题：我们输入问题“为什么天空是蓝色的”到思维树模型。
2. 思维树搜索：思维树模型搜索树结构寻找问题相关节点，这些节点涉及光学、大气科学和颜色原理等概念。
3. 多路径选择：思维树揭示了多条与问题相关的路径，包括大气散射、光谱原理和颜色感知机制的节点。
4. 整合信息：模型整合不同路径的信息以理解大气散射和光波的传播与吸收过程。
5. 生成答案：基于综合的理解，思维树模型生成了一个关于天空为什么是蓝色的解释。天空之所以呈现蓝色，是因为太阳光中的蓝光波长较短，容易被大气分子散射到我们眼中。

ToT框架通过多个协同工作的子模型来理解和生成输入序列的语义输出。

语义理解：ToT框架通过使用预训练模型如BERT、GPT对输入文本进行语义理解，将自然语言转换为计算机可理解的形式。这一过程涉及编码和表示文本，以捕捉其语义信息。

构建思维树：ToT框架通过创建思维树来展示文本中的语义路径和关联，每个节点代表一个语义单元，如概念或主题，边则表示这些单元之间的关系。

路径选择：ToT框架依据输入文本和思维树选择最合适的思维路径，通过路径搜索算法确定相关路径。它考虑多条可能的路径，并根据语义信息动态调整策略。

整合信息：ToT框架选择思维路径后整合信息，通过信息融合和加权算法确保考虑多个因素生成文本。

生成输出：最终，ToT框架通过汇总的信息生成输出文本。这一过程依赖于文本生成模型和算法，通常采用如GPT这样的生成式模型来创造流畅且自然的文本。ToT框架利用整合的信息和选定的思路来引导文本的创作过程，旨在产生准确和多元的输出结果。

总结：

展望未来，人工智能技术的不断进步预示着更多像ToT框架这样的革新技术的出现。这些先进的AI系统不仅功能更强大、智能水平更高，而且能够更加深入地理解并有效处理自然语言，为人们的日常生活和职场工作带来前所未有的便利和新的可能性。作为创新的典范，ToT框架为我们打开了一扇门，提供了一种全新的角度和方法来与自然语言互动。随着AI技术的持续进化，我们有理由期待它为我们的生活和工作带来更多令人惊叹的变化和进步。

本文转载自公众号顶层架构领域

原文链接：​​https://mp.weixin.qq.com/s/7g2_fW_exhThuy3QqsAVBA​​