中科院自动化研究所与美国耶鲁大学的一个研究团队，针对大模型反向推理能力不足的问题，提出了一种新的技术框架——“思维传播”，以此来提高大模型的复杂推理能力。论文称，通过提出类比问题、解决类比问题、聚合类比问题，可以为LLM添加一种拟人化的“类比思想”，让其学会总结、利用过往的成功经验，不必一遇到问题就从头开始推导。自问世以来，大模型凭借其超强的创作能力而备受瞩目。尤其在不到一年的时间里，它迅速发展，从最开始的文字与对话领域扩展到了图片与视频等领域。但最近有研究发现，大模型的推理能力有缺陷，尤其是反向推理能力，几乎是一片空白。比如，当被问到“大明是小明的爸爸，那么小明的爸爸是谁？”之类的问题时，很多LLM都会犯傻。同时，在有限的推理过程中，还可能会出现错误累加的情况。
美国范德比尔特大学、英国萨塞克斯大学和牛津大学的团队合作发表了一篇论文，将这种现象称之为“逆转诅咒”（Reversal Curse），即AI与大模型能学会“A是B”，但无法推导出“B是A”。这一现象引起了轩然大波，不少人或感慨或质疑，甚至OpenAI的联合创始人之一，安德烈·卡帕斯（Andrej Karpathy）都出面发言，他表示：“大模型的知识要比你想象的更不完整。”。针对这些问题，中科院自动化研究所与美国耶鲁大学的一个研究团队提出了“思维传播”这一新的技术框架，旨在帮助AI从“人工智障”逐步走向“人工智能”。论文认为，通过添加一种拟人化的“类比思想”，让大模型学会总结、利用过往的成功经验，从而避免一遇到问题就从头开始推导。具体而言，思维传播技术框架包括三个步骤：提出类比问题、解决类比问题、聚合类比问题。
在提出类比问题时，研究团队会寻找与当前问题相似的历史问题，并从历史问题中提取相关的信息。在解决类比问题阶段，研究团队会将历史问题的相关信息应用到当前问题中，从而产生解决当前问题的新思路。在聚合类比问题阶段，研究团队会对多个历史问题的相关信息进行聚合，从而得到更全面的信息。通过这一技术框架，研究团队进行了一系列实验，结果表明，思维传播技术框架能够有效提高大模型的复杂推理能力，尤其是反向推理能力。此外，思维传播技术框架还可以帮助大模型更好地应对新问题，并有效减少错误累加的情况。总的来说，思维传播技术框架为解决大模型反向推理能力不足的问题提供了一种新思路。我们相信，在研究团队的不断努力下，大模型的推理能力会不断提升，AI也将逐步走向真正的“人工智能”。现在，我们想问读者：你对大模型的发展有何看法？对于AI和人工智能的未来，你有何期望和建议？
新的思维传播框架或将改变人工智能推理的方式近年来，人工智能技术得到了快速发展，但是在推理能力方面仍存在许多挑战。人工智能的推理能力往往被限制在特定领域，难以解决新问题。而近日，来自美国加州大学伯克利分校的研究人员提出了一种新的思维传播框架，或将改变人工智能推理的方式。这种框架被命名为“思维传播”，受到了人类“类比思想”的启发。在遇到新问题时，人类经常使用过往的经验和行动来解决这些难题，这种思想也被称为“类比推理”。而“思维传播”框架可以模拟这种思考方式，克服了人工智能推理的局限性。“思维传播”框架主要由LLM Propose、LLM Solve、LLM Aggregate、多层实现和即插即用等多个模块组成。其中LLM Propose通过使用建议和提示词的方式，让人工智能提出与输入问题相关的类比问题。
LLM Solve则使用现有的提示方法来解决输入问题和上一步提出的类比问题，得到输入问题和类比问题的初始解。LLM Aggregate则要聚合类比问题的解来强化输入问题。多层实现可以堆叠多个思维传播层，以利用K跳的类比问题来逐层改进输入问题的解。即插即用可以应用到不同的推理任务中，只需要替换第一步的建议和提示词。为了验证“思维传播”框架的具体性能，研究团队在寻找最短路径、创造性写作和LLM智能体方案三大任务上进行了比较实验。结果显示，“思维传播”相比于仅使用提示方法的基线系统，在找到最优解的性能提升12%，在生成连贯段落的性能提升13%，在完成任务的性能提升15%。该研究的启示意义在于，“思维传播”框架不仅可以用于解决单一领域的问题，而且可以用于解决更具挑战性的跨领域问题。因此，这种框架有望成为未来人工智能推理的重要方法之一。但是，该框架也面临一些挑战。
首先，需要在更多的任务上进行测试，以验证该框架的普适性。其次，该框架需要更加智能化，可以根据不同的输入问题提供不同的建议和提示词，提高推理的效率。最后，随着人工智能技术的发展，可能会出现更加先进的推理方法，该框架需要与时俱进，不断更新。总的来说，“思维传播”框架的提出，为人工智能推理的发展开辟了新的道路。但是，该框架仍需进一步完善，才能更好地服务于人类社会。您怎么看待这种新的思维传播框架？欢迎留言讨论。GPT-4的“思维传播”框架：解决大模型复杂推理任务的突破大型语言模型（LLM）的发展已经在自然语言处理领域引起了广泛的关注。然而，要使这些模型真正具备复杂推理的能力仍然面临挑战。传统的方法往往需要分别处理图结构数据、开放式写作和长时间规划能力，这对当前的LLM等大模型来说仍然是一个不小的难题。
然而，最近的研究表明，通过引入“思维传播”框架，可以显著提升大模型的复杂推理能力，并减少推理错误。在GPT-3.5和GPT-4的测试结果中，我们可以看到“思维传播”对于寻找最短路径、创造性写作等需要多步推理的任务起到了积极的作用。同时，它也能够帮助避免从头开始推理时容易积累的错误。实验结果显示，“思维传播”框架的GPT-4在多个任务上明显优于没有使用该框架的GPT-4，以及其他同等计算量的大模型。这表明“思维传播”是一个通用的框架，可以进一步优化和扩展到更多复杂的推理任务中，以发挥GPT-4等大模型的潜力。传统的大模型在处理图结构数据时往往需要将其转换为其他形式的输入，而“思维传播”框架则能直接处理图结构数据。这使得GPT-4能够更好地应对需要对图进行搜索的任务。
例如，在社交网络中寻找最短路径这一任务中，传统的方法需要将图数据转换为其他形式的输入，而“思维传播”框架下的GPT-4可以直接对图进行操作，大大提高了搜索的效率和准确性。此外，开放式写作也是一个需要多步推理能力的任务，而传统的大模型在处理这类任务时容易出现推理错误。然而，基于“思维传播”框架的GPT-4能够更好地处理这类任务。通过在推理过程中传播信息和进行迭代计算，GPT-4能够更好地捕捉到文本之间的关联性，从而生成更连贯、有逻辑的写作。至于长时间规划能力，传统的大模型在处理这一任务时常常会出现规划不准确的问题。然而，“思维传播”框架下的GPT-4通过引入思维传播的机制，能够更好地规划长期的推理过程。通过在推理的不同阶段传播和整合信息，GPT-4能够更准确地规划出长期的推理路径，从而提高整体的推理能力。总的来说，“思维传播”框架为解决大模型复杂推理任务提供了一种新的思路。
通过在推理过程中传播信息、进行迭代计算和规划长期推理路径，GPT-4能够在多个任务上表现出色。不仅如此，“思维传播”框架还是一个通用的框架，能够进一步优化和扩展到更多的复杂推理任务中，发挥大模型的潜力。在未来的研究中，我们可以进一步探索如何进一步优化和扩展“思维传播”框架，以使其能够更好地应对不同类型的推理任务。同时，我们也可以研究如何将“思维传播”框架与其他技术相结合，以进一步提升大模型的推理能力。最后，一个值得思考的问题是，大模型的发展是否意味着它们能够完全替代人类进行复杂推理任务？虽然大模型在处理复杂推理任务方面取得了显著进展，但人类的主观性、创造性和直觉等特质仍然是无法替代的。因此，在大模型的应用中，我们应该注重人机结合，充分发挥两者的优势，以实现更高效、准确的推理能力。