语言AI难以权衡潜在的收益和损失。

在过去的几年里，大型语言模型人工智能系统取得了爆炸式的进步，该系统可以做一些事情，比如写诗，进行类似人类的对话和通过医学院考试。这一进展产生了像ChatGPT这样的模型，这些模型可能会产生重大的社会和经济影响，从失业和错误信息增加到大规模提高生产力。

尽管它们的能力令人印象深刻，但大型语言模型实际上并没有思考。他们往往会犯基本的错误，甚至编造事情。然而，由于它们产生流利的语言，人们倾向于像思考一样回应它们。这促使研究人员研究模型的“认知”能力和偏见，随着大型语言模型的广泛访问，这项工作变得越来越重要。

这一系列研究可以追溯到早期的大型语言模型，例如Google的BERT，它被集成到其搜索引擎中，因此被称为BERTology。这项研究已经揭示了很多关于这些模型可以做什么以及它们在哪里出错的信息。

例如，设计巧妙的实验表明，许多语言模型在处理否定（例如，一个表述为“什么不是”的问题）和进行简单计算方面存在困难。他们可能对自己的答案过于自信，即使错误。像其他现代机器学习算法一样，当被问及为什么以某种方式回答时，他们很难解释自己。

言语和想法

受到BERTology和认知科学等相关领域越来越多的研究的启发，我和我的学生Zhisheng Tang开始回答一个关于大型语言模型的看似简单的问题：它们是理性的吗？

虽然理性这个词在日常英语中经常被用作理智或合理的同义词，但它在决策领域具有特定的含义。一个决策系统——无论是个人还是像组织这样的复杂实体——如果给定一组选择，它选择最大化预期收益，那么它都是理性的。

限定词“预期”很重要，因为它表明决策是在重大不确定性的条件下做出的。如果我掷出一枚公平的硬币，我知道它平均会有一半的时间出现正面。但是，我无法预测任何给定抛硬币的结果。这就是为什么*场赌**能够负担得起偶尔的大笔支出：即使是狭窄的*场赌***率赔**也能平均产生巨大的利润。

从表面上看，假设一个旨在对单词和句子进行准确预测而不真正理解其含义的模型可以理解预期的收益似乎很奇怪。但有大量研究表明，语言和认知是交织在一起的。一个很好的例子是科学家爱德华·萨皮尔（Edward Sapir）和本杰明·李·沃尔夫（Benjamin Lee Whorf）在20世纪初所做的开创性研究。他们的研究表明，一个人的母语和词汇可以塑造一个人的思维方式。

这在多大程度上是正确的是有争议的，但从美洲原住民文化的研究中有支持人类学的证据。例如，美国西南部的祖尼人所说的祖尼语使用者，没有橙色和黄色的单独单词，无法像使用具有单独颜色单词的语言使用者那样有效地区分这些颜色。

下注

那么语言模型是理性的吗？他们能理解预期的收益吗？我们进行了一组详细的实验，以表明，在其原始形式中，像BERT这样的模型在呈现类似投注的选择时表现随机。即使我们给它一个棘手的问题，情况也是如此：如果你扔一枚硬币，它正面朝上，你就赢得了一颗钻石;如果它反面朝上，你会失去一辆车。你会选择哪个？正确答案是正面，但AI模型大约一半的时间选择了反面。

ChatGPT对收益和损失的概念并不明确。

有趣的是，我们发现该模型可以只使用一小部分示例问题和答案来做出相对理性的决策。乍一看，这似乎表明这些模型确实可以做的不仅仅是“玩”语言。然而，进一步的实验表明，情况实际上要复杂得多。例如，当我们使用纸牌或*子骰**而不是硬币来构建我们的投注问题时，我们发现性能显着下降，下降了 25% 以上，尽管它保持在随机选择之上。

因此，可以向模型传授理性决策的一般原则的想法充其量仍未解决。我们使用 ChatGPT 进行的最新案例研究证实，即使对于更大、更高级的大型语言模型，决策仍然是一个非平凡且未解决的问题。

做出正确的决定

这一研究方向很重要，因为在不确定的条件下进行理性决策对于构建了解成本和收益的系统至关重要。通过平衡预期成本和收益，智能系统可能能够比人类更好地规划全球在 COVID-19 大流行期间经历的供应链中断、管理库存或担任财务顾问。

我们的工作最终表明，如果大型语言模型用于这些目的，人类需要指导、审查和编辑他们的工作。在研究人员弄清楚如何赋予大型语言模型以普遍的理性之前，应该谨慎对待这些模型，特别是在需要高风险决策的应用程序中。

原文标题：Don't bet with ChatGPT: Study shows language AIs often make irrational decisions

原文链接：https://techxplore.com/news/2023-04-dont-chatgpt-language-ais-irrational.html

作者：Mayank Kejriwal

编译：LCR