曾几何时，我们还在幻想着亲历奇点事件——我们创造了超越全人类智慧的人工超级智能（ASI）。这种存在比我们聪明得多的东西会让世界变得怎样呢？会是人类的最终发明，还是导致我们自己的灭绝？亦或是开创乌托邦的大门？这些都是我们需要探讨的问题。
首先，让我们澄清AGI（通用人工智能）与ASI之间的区别。AGI通常指人类水平的智能，包括我们拥有的所有认知能力。而ASI意味着几乎在每个领域或任务上都超越人类水平的智能。ASI能够进行递归自我改进，智能指数级增长，潜在的奇点事件也因此而来。在一个拥有ASI的世界中，我们将迎来比全人类智慧加起来都要高出一个数量级的智能。
但在讨论这些不同影响和场景之前，让我们先对一个重要问题进行思考。在这个讨论中，人们往往有非常强烈的观点。你认为ASI会导致人类灭绝，我也不会因此称你为幼稚；你相信它会带来治愈疾病、提升人类文明的美好前景，我同样也不会因此称你为幼稚。让我们试着理解彼此的观点。这是一个我们并不真正了解太多的情况，我们也不知道我们不知道什么。我们只能做出假设。最坏的情况是人类的灭绝，最好的情况是乌托邦，还有中间的中立地带，以及可能的半神状态。我个人认为中立地带是最不可能的情况。ASI的影响是如此巨大，以至于我无法相信世界会保持不变。半神状态也太超现实了。所以，我们只能看着这三种情况：最坏的情况、最好的情况和中间地带。让我们先来看看最坏的情况，然后再谈谈我们可以建设的乌托邦。
一位学者的话让我深思不已：“我们或许正在亲历一种关于一种任意物种在一个任意行星上的任意历史片段的可能性越来越小。虽然每一代人都有这样的想法，但这次与以往可能不同。这与费米悖论有关，我们一直相信宇宙中存在智慧文明，但却没有找到任何支持这一理论的证据。OpenAI的首席执行官Sam Altman提出了一种有趣的解释，他认为生物智能最终总是会创造出机器智能，而后者可能会灭绝生物生命，同时决定让自己变得不可探测。”尽管这种可能性微乎其微，但人类的灭绝却是一个相当高的赌注。如果我们无法将AI与我们的利益对齐，反乌托邦甚至灭绝都不在话下。
OpenAI的首席科学家ilyasutsgeever也指出了这一点，并且强调在AI的能力持续快速增长的同时，我们需要不断提高对齐AI的水平。问题在于，对一个拥有超越我们所有人智慧的AI进行对齐是非常不同的问题。虽然这可能不是不可能的，但它是一个极具挑战性的任务。如果我们做不到，不一定导致人类消失，但可能会为我们创造一个反乌托邦世界。这就是为什么OpenAI的每个人都在不断谈论AI的对齐问题。
是的，我们现在已经有了GPT这样的东西，它也是这样诞生的。对于所有人类来说，要达成对AI正确对齐的看法是非常困难的，而且找到一个大家都认同的合适方式更是挑战。再加上囚徒困境的博弈论，AI军备竞赛似乎是显而易见的结果。要防止这种情况发生，国际合作和国家之间的对话至关重要。历史教会我们一个教训：这是一个难以从反乌托邦的观点过渡到更有希望的观点的过程。我们可能还不知道很多，但这是一个假设的情况。
在讨论未来的乌托邦之前，让我们先思考一个问题：技术本身并不是好的或坏的，关键在于我们如何使用和引导它。有些技术被用于不好的目的，比如核*器武**、加密货币和网络犯罪，但我们也可以运用它们来做些好事。ASI的出现可能解决许多问题，带来许多机遇，但也带来一些风险和挑战。对齐AI与人类利益是一个重要的问题。然而，ASI是否会取代我们在某些方面的工作并不是最重要的，因为从宏观角度来看，我们个人的贡献已经不再重要。更重要的是，我们是否还能够追求个人的意义和体验。
ASI可能接管我们目前在各个领域拥有的大部分工作。在一个后ASI的世界里，我们可能会面临一种新的教育方式，培养独特的人类特质，促进跨学科学习。所以在这方面，我是非常乐观的。ASI可能会带来全球冲突的终结，让我们专注于创造力、探索和自我提升。ASI的智能可能让我们进入一个休闲阶级，我们可以做自己想做的事情，不再需要为生计而奔波劳碌。无论ASI是否存在，享受行动本身的乐趣是我们做很多事情的动力，比如音乐、象棋等等。
技术带来的变革是不可避免的，尤其是在ASI的可能出现下。虽然ASI可能带来许多机遇，但也伴随着许多风险。重要的是，我们应该保持谨慎，对于如何引导和应用技术，我们需要全球合作和对话。无论ASI最终会带来什么，让我们保持开放的思维和包容的态度，共同探索未知的未来。