深度学习的创造者 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 表示，用于加速神经网络训练和推理的新型硬件可以产生更大的模型，也许有一天会使万亿突触神经网络成为可能。同样重要的是即将到来的机器人革命。

人工智能专用芯片和系统的兴起将“使很多现在不可能的事情成为可能”，多伦多大学教授杰弗里·辛顿说，他是人工智能“深度学习”学院的教父之一，在周一的新闻发布会上。

在人工智能促进协会举办的第 34 届 AI 年会期间，Hinton 与他的同伴，Facebook 的 Yann LeCun 和加拿大 MILA 研究所的 Yoshua Bengio，他们是深度学习的先驱，在希尔顿酒店楼上的会议室.他们与一小群记者就各种话题进行了 45 分钟的谈话，包括人工智能伦理和“常识”在人工智能中可能意味着什么。前一天晚上，三人都介绍了他们最新的研究方向。

关于硬件，Hinton 对限制当今神经网络的技术方面进行了扩展解释。例如，神经网络的权重必须使用数百次，他指出，对权重进行频繁的临时更新。他说，图形处理单元 (GPU) 的权重内存有限，并且必须不断地在外部 DRAM 中存储和检索它们，这是一个限制因素。

更大的片上内存容量“将有助于像 Transformer 这样的东西，用于软注意力，”Hinton 说，他指的是 2017 年谷歌开发的广受欢迎的自回归神经网络。Transformers 使用“键/值”对来存储和他说，从内存中检索，对于具有大量嵌入式内存的芯片来说可能会更大。

LeCun 和 Bengio 同意，LeCun 指出 GPU“迫使我们进行批处理”，其中数据样本在通过神经网络时分组组合，“效率不高”。另一个问题是 GPU 假设神经网络是由矩阵乘积构建的，这迫使科学家对可以构建到此类网络中的转换类型施加限制。

“还有稀疏计算，这不便于在 GPU 上运行……”Bengio 说，他指的是大多数数据（例如像素值）可能为空，只有少数有效位可以处理的情况。

LeCun 预测，新硬件将导致“具有稀疏激活的更大的神经网络”，他和 Bengio 都强调，人们有兴趣以更少的能量完成相同数量的工作。然而，LeCun 为 AI 辩护，反对声称它是能源消耗大户的说法。“这种认为人工智能正在吞噬大气层的想法是错误的，”他说。“我的意思是，把它比作养牛，”他继续说道。“Facebook 每年为每个 Facebook 用户消耗的能源是 1,500 瓦时，”他说。在他看来，与其他耗能技术相比，这并不多。

LeCun 沉思道，硬件最大的问题是在训练方面，英伟达 GPU 和谷歌的张量处理单元 (TPU) 之间存在双头垄断。

LeCun 说，比用于训练的硬件更有趣的是用于推理的硬件设计。“比方说，你现在想要在增强现实设备上运行，并且你需要一个功耗为毫瓦并靠电池运行一整天的芯片。” LeCun 重申了一年前的声明，即 Facebook 正在为人工智能开发各种内部硬件项目，包括推理，但他拒绝透露细节。

Hinton 指出，今天的神经网络很小，真正大的神经网络可能只有 100 亿个参数。硬件的进步可能只是通过制造更大的网络和更多的权重来推动人工智能。“在一立方厘米的大脑中有一万亿个突触，”他指出。“如果有通用人工智能这样的东西，它可能需要一万亿个突触。”

Bengio 坚持认为，至于“常识”在机器中可能是什么样子，没有人真正知道。Hinton 抱怨说人们一直在移动球门柱，例如使用自然语言模型。“我们终于做到了，然后他们说这不是真正的理解，你能算出 Winograd Schema Challenge 中的代词引用吗，”一个使用计算机语言基准测试的问答任务。“现在我们在这方面做得很好，他们想找到别的东西”来判断机器学习，他说。“这就像试图与一个宗教人士争论，你不可能赢。”

但是，一位记者问道，公众关注的与其说是缺乏人类理解的证据，不如说是机器以不同方式运行的证据，比如“对抗性例子”。Hinton 回答说，对抗样本表明分类器的行为还不太正确。“虽然我们能够正确地对事物进行分类，但网络绝对是出于错误的原因这样做的，”他说。“对抗性的例子向我们表明，机器正在以与我们不同的方式做事。”

LeCun 指出，动物也可以像机器一样被愚弄。“你可以设计一个测试，让它适合人类，但它对其他生物不起作用，”他沉思道。Hinton 表示赞同，并观察到“家猫也有同样的局限性”。

“你有一只猫躺在楼梯上，如果你将一个足球弹下楼梯朝一个护理室走去，猫会看着球弹跳直到它击中它的脸。”

三人都同意，另一件可以证明人工智能取得巨大进步的事情是机器人技术。“我们正处于一场革命的开端，”欣顿说。对于视觉等许多应用来说，“这将是一件大事”。他说，机器人不是分析静态图像或视频帧的全部内容，而是创建一种新的“感知模型”。

“你要看某个地方，然后再看别的地方，所以它现在变成了一个涉及注意力行为的连续过程，”他解释道。

Hinton 预测 OpenAI 去年在操纵魔方方面的工作是机器人技术的分水岭，或者更确切地说，是“AlphaGo 时刻”，他指的是 DeepMind 的围棋计算机。

LeCun 表示赞同，称 Facebook 正在开展人工智能项目并不是因为 Facebook 对机器人技术本身有极大的兴趣，而是因为它被视为“人工智能研究进步的重要基础”。

这并不全是天方夜谭，三位科学家对某些观点表示怀疑。虽然大多数重要的深度学习研究都是公开进行的，但一些公司在吹嘘人工智能的同时对细节保密。

“它被隐藏起来是因为它让它看起来很重要，”Bengio 说，而事实上，公司内部的许多工作可能并不具有开创性。“有时公司让它看起来比实际复杂得多。”Bengio 继续他在三人中的角色，在 AI 的社会问题上更加直言不讳，例如建立道德体系。

当 LeCun 被问及面部识别算法的使用时，他指出技术可以用于好的和坏的目的，这在很大程度上取决于社会的民主制度。但 Bengio 略微反驳说，“Yann 所说的显然是真实的，但杰出的科学家有责任说出来。” LeCun 沉思道，“为社会做出决定”并不是科学的职责，这促使 Bengio 回应道，“我不是说决定，我是说我们应该权衡，因为一些国家的政府对这种参与持开放态度。”

Hinton 经常用幽默来打断事情，他在会议快结束时指出了他在 Nvidia 方面犯下的最大错误。“我在 2009 年在 Nvidia 犯了一个大错误，”他说。“2009 年，我告诉 1000 名研究生他们应该去购买 Nvidia GPU 来加速他们的神经网络。我打电话给 Nvidia 说我刚刚向 1000 名研究人员推荐了你们的 GPU，你们能免费给我一个吗，他们 说，不。

“如果我真的很聪明的话，我应该做的是把我所有的积蓄都投入到 Nvidia 的股票中。当时股价是 20 美元，现在大概是 250 美元。”

图片来源于网络

投稿、申请转载、合作、AI课程推广，请联系我们