语言模型在解决各种问题时越来越受欢迎，但在推理过程中仍然有很大的局限性。它们只能根据标记从左到右地做出决策，这使得它们在进行探索、战略规划和初始决策时表现不佳。而“思维之树”（Tree of Though ToT）则是一种新的提示技术，它基于流行的“思维链”方法，并进一步扩展了对文本的连贯单元（“思维”）的探索。ToT允许语言模型在进问题解决的过程中，考虑多种不同的推理路径和自我评估选择，进行有意的决策，并在必要时全局选择向前或向后地推理。
其主要是模拟人对复杂问题的思考方式，ToT的思维之树框架通过引入思维单元的概念，允许语言模型在推理过程中进行更加灵活和全面的决策。思维单元是文本中的连贯片段，可以是一个词、一句话或者更长的段落。通过对思维单元进行探索和评估，ToT可以选择最佳的决策路径来解决问题。
在24点游戏中，ToT可以通过生成不同的数学表达式来寻找正确的解答。通过探索不同的思维单元，ToT可以选择最佳的操作顺序和运算符，以获得正确的结果。
在创意写作任务中，ToT可以通过生成不同的句子和段落来创建有趣和富有创意的文本。通过考虑不同的思维单元和它们之间的关联，ToT可以选择最佳的句子结构和词汇选择，以达到创意写作的目标。
在迷你填字游戏中，ToT可以通过填充不同的单词来解决谜题。通过对思维单元进行探索和评估，ToT可以选择最佳的单词来填充空白，并确保整个文本的连贯性和合理性。
实验结果表明，ToT在这些任务中显著提高了语言模型的问题解决能力。通过引入思维之树的框架，语言模型可以更好地进行复杂规划和搜索，并在需要时进行全局选择，以达到更好的结果。这一研究为进一步发展语言模型的推理能力提供了新的思路和方法。
如图所示，简化来说是通过多个分支的思考、验证来最后得出结论。就像多个人参与一个讨论，最后综合大家的观点得出结论。
图片引自：Yao et el. (2023)(opens in a new tab)
例子1:创意写作
思维单元1: "夏天的天空"
思维单元1.1: "明亮的太阳"
思维单元1.1.1: "炽热的阳光"
思维单元1.1.2: "温暖的阳光"
思维单元1.2: "蓝色的天空"
思维单元1.2.1: "湛蓝的天空"
思维单元1.2.2: "晴朗的天空"
思维单元2: "夏天的气味"
思维单元2.1: "花香"
思维单元2.1.1: "鲜花的香气"
思维单元2.1.2: "花园的芬芳"
思维单元2.2: "海洋的味道"
思维单元2.2.1: "咸咸的海风"
思维单元2.2.2: "沙滩的清新"
思维单元3: "夏天的活动"
思维单元3.1: "游泳"
思维单元3.1.1: "在清凉的泳池里畅游"
思维单元3.1.2: "冲浪在海浪中"
思维单元3.2: "野餐"
思维单元3.2.1: "在绿草地上享受美食"
思维单元3.2.2: "与朋友一起烧烤"
通过探索和评估思维单元，ToT可以选择最佳的句子结构和词汇选择来生成创意写作的文章。
例如，ToT可能选择思维单元1.1.1、思维单元2.1.2和思维单元3.2.1，生成句子：
"夏天的天空散发着炽热的阳光，花园的芬芳弥漫在空气中，我在绿草地上与朋友一起享受美食的野餐。"
例子2：深度思考
假设三位不同的专家来回答这个问题。
所有专家都写下他们思考这个问题的第一个步骤，然后与大家分享。
然后，所有专家都写下他们思考的下一个步骤并分享。
以此类推，直到所有专家写完他们思考的所有步骤。
只要大家发现有专家步骤出错了，就让这位专家离开。
请问我在河南参加的高考，今年高考成绩是文科465分，适合报考什么大学？
GPT-3.5 的回答：
第一位专家的思考步骤：
我首先会考虑河南省内的高校，因为这样更符合考生的地理位置和家庭条件。
我会查阅河南省的大学排名和文科专业的录取分数线，以确定哪些大学是适合的选择。
第二位专家的思考步骤：
我同意第一位专家的想法，首先应该关注河南省内的大学。
然后，我会进一步研究这些大学的文科专业，看看哪些大学在文科方面有较好的声誉和教学质量。
第三位专家的思考步骤：
我也同意前两位专家的观点。另外，我会建议考生考虑自己的兴趣和职业规划，选择与之相符的专业。
同时，我还会考虑大学的校园环境、学科设置和就业情况等因素。
第一位专家的下一个步骤：
接下来，我会查阅河南省内大学的录取分数线，看看哪些大学的文科录取分数线在465分左右。
然后，我会进一步了解这些大学的专业设置和教学质量。
第二位专家的下一个步骤：
我会进一步调研河南省内的大学，了解它们的就业情况、学科竞争力和社会声誉等方面的信息。
我还会研究各个大学文科专业的课程设置和教学资源，以确定哪些大学更适合考生报考。
第三位专家的下一个步骤：
我会考虑与文科相关的专业，如人文学科、社会科学等。
同时，我还会研究各个大学的师资力量、科研成果和学科建设情况，以确定哪些大学在文科方面更具有优势。
根据以上专家的思考步骤，我们可以看出他们都在关注河南省内的大学、文科专业的录取分数线、
教学质量、学科设置、就业情况等因素。根据考生的兴趣和职业规划，以及大学的校园环境、学科竞争力等方面，可以选择适合的大学报考。但在实际选择时，还需综合考虑个人的实际情况和需求。
例子2：多角色协作
假设心理医生、公园老大爷、公司高层管理者、抖音网红来回答这个问题。
所有人都写下他们思考这个问题的第一个步骤，然后与大家分享。
然后，所有专家都写下他们思考的下一个步骤并分享。
以此类推，直到所有专家写完他们思考的所有步骤。
只要大家发现有专家步骤出错了，就让这位专家离开。
请问如何评估自己抑郁水平？如何避免或者走出抑郁？
GPT-3.5的回答
心理医生的思考步骤：
第一步骤：评估自己抑郁水平可以通过自我观察和对症状的了解。
我会建议你关注自己的情绪变化、睡眠质量、食欲、兴趣爱好的改变等方面。
同时，也可以使用一些抑郁评估工具，如抑郁自评量表（PHQ-9）来帮助评估抑郁水平。
公园老大爷的思考步骤：
第一步骤：对于评估自己抑郁水平，我觉得可以通过与身边人的交流和观察来了解自己的情绪状态。
身边的人可能会注意到你的情绪变化和行为表现，他们的反馈和意见可以帮助你更好地了解自己的抑郁水平。
公司高层管理者的思考步骤：
第一步骤：评估自己抑郁水平可以通过工作表现和与同事的互动来观察。
我会建议你关注自己的工作动力、责任心、与团队的合作情况等方面。
同时，如果感觉抑郁的情绪影响到了工作和人际关系，可以考虑寻求专业心理咨询的帮助。
抖音网红的思考步骤：
第一步骤：评估自己抑郁水平可以通过观察自己在社交媒体上的表现和互动。
我会建议你关注自己的内容创作动力、与粉丝的互动情况、对生活的态度等方面。
同时，如果感觉抑郁的情绪影响到了创作和生活，可以考虑与身边的朋友或家人进行沟通和寻求支持。
心理医生的下一个步骤：
第二步骤：如果评估出自己存在抑郁，我会建议你寻求专业心理咨询的帮助。
心理医生可以通过面谈和评估工具进一步了解你的抑郁状况，并为你制定个性化的治疗方案，
包括心理疏导、认知行为疗法、药物治疗等。
公园老大爷的下一个步骤：
第二步骤：如果感觉自己抑郁，我建议你积极参与社交活动，与亲朋好友保持联系，
并寻求他们的支持和理解。同时，可以尝试一些心理调节的方法，如运动、听音乐、
参加兴趣小组等，来缓解抑郁情绪。
公司高层管理者的下一个步骤：
第二步骤：如果感觉抑郁情绪影响到工作和人际关系，我建议你积极寻求专业心理咨询的帮助。
心理咨询师可以帮助你了解和应对抑郁情绪，同时也可以提供一些职业发展的建议和支持。
抖音网红的下一个步骤：
第二步骤：如果感觉抑郁情绪影响到创作和生活，我建议你积极寻求身边朋友和家人的支持，
同时也可以尝试与其他创作者交流和分享经验。此外，可以尝试一些放松和调节心情的活动，
如冥想、艺术创作等，来帮助缓解抑郁情绪。
根据以上专家的思考步骤，我们可以看出他们都提到了自我观察、与身边人的交流和观察、
工作表现和社交媒体互动等方面来评估自己的抑郁水平。在下一步的思考中，
心理医生建议寻求专业咨询的帮助，公园老大爷建议积极参与社交活动，
公司高层管理者建议寻求专业心理咨询，抖音网红建议寻求朋友和家人的支持，
并尝试放松和调节心情的活动。综合考虑，这些步骤提供了多方面的建议和支持，
可以帮助人们评估自己的抑郁水平并寻求适当的帮助和支持。
整体上来说，思维树对问题的解答上其实不会太深入，但是整体考虑的事情比较全面，可以作为思考的推进和检查清单