引子
你可能听过埃隆·马斯克和他对人工智能引发第三次世界大战的评论。
美国战斗机器人
“对文明的存续而言，真正有可能引发第三次世界大战的，是AI(人工智能)”。
9月4日，被许多人看作“现实版钢铁侠”的SpaceX公司创始人埃隆马斯克连发多条推特，表明了上述观点。虽然身为美国顶尖科技公司的老板，埃隆马斯克对人工智能的“担忧”一直十分鲜明。
埃隆马斯克再一次警告称，人工智能或将成为人类存亡的威胁，这次他指的是人工智能将会引发第三次世界大战。
洛杉矶时间（9月4日）凌晨2时33分，SpaceX、特斯拉和Boring Company的CEO马斯克在推特上发表了关于人工智能或引发世界末日的言论，显然他对这一前景感到十分担忧。
俄罗斯总统普京曾在一场演讲中说道：“未来是属于人工智能的，不仅是俄罗斯的，也是全人类的未来……这将带来巨大的机遇，同时也有难以预测的威胁。人工智能领域的领导者将成为世界的领导者。”普京这一言论引起了马斯克对于人工智能的恐惧。
美国科技网站The Verge在推特上发文称，俄罗斯总统普京表示，“不论哪个国家，谁在AI领域领跑谁就会成为世界的统治者”。马斯克在这条推特下评论道，“已经开始了。”
“中国、俄罗斯，所有国家都会壮大发展计算机科学。在我看来，国家间对人工智能优势的争夺，很可能引发第三次世界大战。”
——埃隆马斯克（@elonmusk）发于2017年9月4日
在9月4日发布的众多推特中，特斯拉、SpaceX 、Neuralink及OpenAI公司的联合创始人马斯克表示，人工智能将成为下一次世界大战的根源。
“（战争）可能不是由某个国家的领导人发起，而是由人工智能发起的，只要它认为一场先发制人的打击最有可能带来胜利。”
——埃隆马斯克（@elonmusk）发于2017年9月4日
“政府不需要遵循正常法则，必要的话，他们会拿着枪逼企业交出他们开发的AI技术。”
——埃隆马斯克（@elonmusk）发于2017年9月4日
长久以来，马斯克对于人工智能发动战争的恐惧一直是他在公共场合发表的言论的主论调。在8月，他与其他100多人联名签署了一封建议信，呼吁联合国禁止研发“机器人杀手”（能致人死亡的自动*器武**）。
信里写道：“机器人杀手一旦研发出来，将会造成空前规模的武装冲突，其速度之快也远超人们所能理解的程度。这或许还会变成恐怖行动的*器武**，*制专**者和恐怖分子用来对付无辜大众的*器武**，还可能被黑客盗用来做不法之事。”
“我们要快点行动起来，潘多拉魔盒一旦打开，就很难合上。”
左起：特伦查德·摩尔、约翰·麦卡锡、马文·明斯基、奥利佛·赛福里奇、雷·索罗莫诺夫
2006年7月，当年参加达特茅斯会议的五位人工智能的奠基人合影纪念人工智能诞生50周年。左起：特伦查德·摩尔、约翰·麦卡锡、马文·明斯基、奥利佛·赛福里奇、雷·索罗莫诺夫。
2011年，谷歌内部成立了一个名为Project Marvin的项目，这个以AI先驱马文·闵斯基命名的项目实际上正是一项用于研究神经网络的AI项目。
关于谷歌这个项目，或许大多数人听说的是这个项目的另一个名字——Google Brian，谷歌现在在人工智能领域卓有成效的Google translate、BERT语言模型，甚至Google Cloud AI都得益于Google Brian的持续进化。
毫无疑问，Google Brian是谷歌人工智能技术的引擎，而Cohere三位创始人中的两位——Aidan Gomez、Nick Frosst创业之前正是Google Brian的研究员，他们一起创办的NLP预训练模型提供商Cohere，其核心NLP模型正是源自于Google Brian的Transformer。
正文
2017 年秋天，在曼哈顿下城区的 Clarifai 办公室里，远处角落一个房间的窗户被纸糊上了，门上有一个牌子，上面写着“密室”。1 这是借鉴了《哈利·波特》系列第二本书中的一个做法，牌子上的字是手写的，而且牌子挂得有点儿歪。
在房间里面，由 8 名工程师组成的一支团队正在推进一个项目，公司不允许他们跟其他人讨论，就连他们自己也不完全明白在做什么。他们知道自己正在训练一个系统，让它可以从某沙漠里拍摄的视频片段中自动识别人、车辆和建筑物，但他们不知道这项技术将如何使用。当他们问及此事时，创始人兼首席执行官马特·泽勒将其描述为一个涉及“监控”的政府项目。他说这个系统将会“拯救生命”。
随着 Clarifai 搬进更大的办公室，工程师们开始对存储在公司内部计算机网络上的数字文件进行挖掘，并翻出几份提及某政府合同的文件，然后他们的工作慢慢成为关注的焦点。他们是在为美国国防部开发技术，这项技术是马文项目的一部分，其想法似乎是要打造一个帮助无人机识别袭击目标的系统，但具体情况仍不清楚。正如泽勒所说，他们不知道这项技术是否会被用来杀人，或者是否有助于避免杀人。
目前，他们还不清楚这是一种自动空袭的方式，还是在人工操作员扣动扳机之前给他们提供信息支持。
然后，在 2017 年底的一个下午，三名穿着便服的军事人员走进 Clarifai 的办公室，在“密室”后面的另一个房间里会见了几名工程师。他们想知道这项技术有多精确。首先，他们询问系统能否识别某座特定的建筑，比如清真寺。他们说，清真寺经常被恐怖分子和叛乱分子改造成军事总部。然后，他们问系统能否区分男人和女人。“什么意思？”一个工程师问。军事人员解释说，在野外，人眼通常可以区分男人（穿裤子）和女人（穿到脚踝的裙子），因为男人的腿之间有间隙。他们说，他们被允许射杀男人，而不是女人。“有时候，男人试图通过穿裙子来愚弄我们，但这并不重要，”其中一个人说，“我们还是要杀掉那些混蛋。”
詹姆斯·马蒂斯(James Norman Mattis)，生于1950年9月8日，美国军人，前美国海军陆战队四星上将，担任过美军多个司令部的指挥官，2013年退伍。
2017年1月27日，任美国国防部长。[4]2018年12月23日，美国总统唐纳德·特朗普在社交媒体上宣布，詹姆斯·马蒂斯于2019年1月1日离职。
2017 年 8 月 11 日，星期五，美国国防部长詹姆斯·马蒂斯（James Mattis）坐在山景城谷歌总部的董事会会议桌旁。桌子中间摆放着一束束白色的栀子花，4 壶咖啡放在翠绿色墙壁的壁架上，旁边是几盘糕点。坐在桌子另一边的，有新任谷歌首席执行官桑达尔·皮查伊、公司联合创始人谢尔盖·布林、总法律顾问肯特·沃克和人工智能主管约翰·詹南德雷亚，詹南德雷亚将 4 万块 GPU 引入谷歌数据中心，以加速公司的人工智能研究。房间里还有其他几个人，包括国防部的工作人员和谷歌云计算部门的高管。大多数国防部工作人员都穿着西装，打着领带，大多数谷歌人穿西装，不打领带，谢尔盖·布林则穿着一件白色 T 恤。
马蒂斯的西海岸之旅，是要参观硅谷和西雅图的几家大型科技公司，因为五角大楼正在调研马文项目的备选合作伙伴。4 个月前，美国国防部发起了马文项目，旨在加速国防部对“大数据和机器学习”的使用。3 这个项目也被称为“算法战的跨职能团队”。
该项目依赖于谷歌等公司的支持，这些公司在过去几年里积累了打造深度学习系统所需的专业知识和基础设施。这是国防部通常与私营企业一起开发新技术的方式，但此时的情形与过去不同。谷歌和其他控制该国人工智能人才的公司不是传统的军事承包商，而是刚刚开始接受军事业务的消费类科技公司。此外，唐纳德·特朗普入主白宫，这些公司的员工变得对政府项目越来越警惕。谷歌对这里的紧张氛围特别敏感，因为其独特的企业文化允许甚至鼓励员工畅所欲言，做自己喜欢做的事情，并且员工在工作中的行为方式通常跟在家里一样。这是由谢尔盖·布林和拉里·佩奇在公司创立之初就推行的，他们两人都在培养自由思想的蒙台梭利学校接受了教育。
围绕马文项目的紧张氛围可能会变得更严重。负责谷歌深度学习研究的很多科学家从根本上反对自主*器武**，包括杰夫·辛顿和 DeepMind 的创始人。尽管如此，谷歌高层的很多高管都非常希望与国防部合作。谷歌董事会主席埃里克·施密特也是美国国防创新委员会的主席，这是一个由奥巴马政府创建的民间组织，旨在加速新技术从硅谷进入五角大楼。在该委员会最近的一次会议上，施密特曾表示，硅谷和五角大楼之间“明显存在巨大距离”，委员会的主要任务是缩小这一距离。谷歌高层还将军事业务视为促进公司云业务的另一种方式。在幕后，该公司已经与国防部展开合作。
前一年的 5 月，在马文项目推出约 1 个月后，一支谷歌的团队见了五角大楼的官员；第二天，该公司申请了在自己的计算机服务器上存储军事数据所需要的政府认证。但 3 个月之后，当马蒂斯在谷歌总部讨论这些技术时，他知道要驾驭这种关系还需要一些技巧。
马蒂斯说，他已经在战场上见识了该公司技术的力量。毕竟，美国的对手正在使用“谷歌地球”——通过卫星图像 拼接而成的交互式全球数字地图——来识别迫击炮的目标。
但他急切地希望美国能加快步伐。现在，通过马文项目，国防部希望开发的人工智能不仅能读取卫星图像，还能分析离战场更近的无人机拍摄的视频。马蒂斯称赞了谷歌的“行业领先技术”以及“企业责任的声誉”，他说，这是他来到这里的部分原因。他担心人工智能的伦理问题。他认为，谷歌应该让国防部“感到不舒服”，要反击其传统态度。他说：“国防部很愿意听听你们的想法。”
皮查伊在桌子对面说，谷歌经常思考人工智能的道德伦理问题。他说，坏的玩家越来越多地使用这种技术，所以好的玩家保持领先很重要。随后，马蒂斯问谷歌是否可以在这 些系统中植入某种道德或伦理规则。谷歌人知道，这远不是一个现实的选择。谷歌人工智能负责人詹南德雷亚强调，这些系统最终取决于其训练数据的质量。但谷歌总法律顾问肯特·沃克的说法不同，他说这些技术具有拯救生命的巨大潜 力。
到 9 月底，在马蒂斯访问谷歌总部 1 个多月之后，该公 司签署了一份为期三年的马文项目业务合同，总价值为2,500 万～3,000 万美元，其中 1,500 万美元将在签约后的18 个月内支付。对谷歌来说，这笔钱是一个小数目，其中一部分还必须跟参与合同的其他公司分享，但该公司正在寻求 更大的机会。同月，五角大楼邀请一些美国公司竞拍其所谓 的“联合企业防御基础设施”，这是一份为期 10 年、价值 100 亿美元的为国防部提供运行其核心技术所需的云计算服务 的合同。问题是，谷歌是否会在推动这个项目以及未来其他 政府项目的过程中，公开其参与了马文项目的事实。
在马蒂斯访问谷歌总部三周后，生命未来研究所发布了一封公开信，呼吁联合国禁止所谓的“杀手机器人”，这是对自主*器武**的另一种描述方式。公开信中写道：“随着众多公司在人工智能和机器人领域进行技术开发，这些技术可能 会被重新用来开发自主*器武**，我们感到特别有责任发出这一警报。致命的自主*器武**有可能成为战争的第三次革命，一旦发展起来，武装冲突有可能会以前所未有的规模和人类无法理解的速度爆发。”
100 多名该领域的相关人员签署了这封 公开信，其中包括埃隆·马斯克，他经常警告人们要警惕超 级智能的威胁，还有杰夫·辛顿、戴密斯·哈萨比斯和穆斯 塔法·苏莱曼。对苏莱曼来说，这些技术需要一种新的监督。
“谁做出了那些有朝一日会对我们地球上数十亿人产生影 响的决定？谁参与了这个判断过程？”他问道，“我们需要大 幅拓宽决策过程中的贡献者范围，这意味着让监管者更早地 参与这一过程——政策制定者、民间社会活动家以及我们通过技术可以服务的人，让他们深入参与我们产品的创造，并 理解我们的算法。”
那年 9 月，当谷歌准备签署马文项目的合同时，负责该协议的销售人员通过电子邮件沟通，询问公司是否应该公开该协议。“我们宣布吗？我们能谈回报吗？我们要给政府什么指示？”一位谷歌人写道，“如果保持沉默，我们就无法控 制信息的传播，这对我们的品牌不利。”他最终主张谷歌应该 将这条消息公之于众，其他人同意了。“这个消息最终总是会 传出去的，”另一位谷歌人说，“按照我们自己的方式发布不 是最好吗？”讨论持续了好几天，在这期间有人拉上了李飞飞。
李飞飞对这份合同表示赞同。“这太令人兴奋了，我们快要拿到马文项目了！那将是一场伟大的胜利，”她写道，“你们付出了多么惊人的努力！谢谢大家！”但她也敦促在宣传推 广时要极度谨慎。她在提到谷歌云平台时写道：“我认为，我们应该从普通云技术的角度，对国防部与谷歌云平台合作的新闻做一场好的公关宣传。但无论如何，我们都要避免提及 或暗示人工智能。”她知道，媒体会质疑这个项目的道德性， 哪怕只是因为埃隆·马斯克提出了警告。
*器武**化人工智能如果不是人工智能中最敏感的话题，可能也是最敏感的话题之一。这也是媒体想方设法激起大众情绪来损害谷歌的话题。你可能听说过埃隆·马斯克和他对人工智能导致第三次世界大战的评论。也有很多媒体关注人工智能*器武**、国际竞争以及人 工智能带来的潜在的地缘政治紧张局势。在人工智能和数据方面，谷歌已经在与隐私问题做斗争。我不知道， 如果媒体挑起话题，说谷歌正在为军工业打造人工智能*器武**或提供人工智能技术赋能的*器武**，然后会发生 什么。谷歌云一直在构建我们在 2017 年实现人工智能 民主化的目标。黛安和我一直在谈论面向企业的人性 化人工智能。我会非常小心地保护这些非常正面的形 象。
谷歌没有宣布这个项目，并要求国防部也不要宣布这个 项目。即使公司员工也必须自己去了解马文项目。
硅谷的 101 号高速公路是贯穿硅谷中心的一条八车道公 路，其标志性建筑“一号机库”是地球上最大的独立建筑之 一。这座巨大的钢制建筑物建于 20 世纪 30 年代，用于存放美国海军的飞艇，它高近 200 英尺，占地 8 英亩，足够容 纳 6 个足球场，是莫菲特机场的一部分。莫菲特机场是一个有百年历史的军事空军基地，位于山景城和桑尼维尔城之间。
莫菲特归美国国家航空航天局（NASA）所有，该机构在一号机库旁边经营着一家研究中心，但美国国家航空航天局将大 部分空军基地租给了谷歌。该公司用这座旧的钢铁机库来测 试“气球”，这些“气球”有朝一日可以从空中为用户提供互 联网接入。多年来，该公司的高管，包括拉里·佩奇、谢尔 盖·布林和埃里克·施密特，都通过其私人跑道驾驶私人飞 机出入硅谷。
新的谷歌云总部位于莫菲特机场南部的边缘，三栋建筑 围绕着一片草地庭院，庭院里散落着草坪桌椅，谷歌人每天 下午都在那里吃午饭。其中一栋建筑是谷歌所谓的“高级解 决方案实验室”，该公司在那里为其最大的客户开发定制技 术。10 月 17 日和 18 日，在这栋建筑里，公司高管会见了国 防部副部长帕特里克·沙纳汉（Patrick Shanahan）和他的 工作人员，以确定谷歌在马文项目中的角色。像国防部其他 高层一样，沙纳汉认为这个项目是迈向更大合作目标的第一 步。他曾说：“如果没有内置的人工智能能力，国防部的任何东西就都不应该被部署。”至少对安排这份合同的谷歌人来 说，该公司似乎是这一漫长过程中至关重要的一个环节。
但首先，谷歌必须为所谓的“物理隔离”系统开发软件， 这是一台被以物理方式隔离的计算机（或计算机网络），这样它就不会连接到任何其他网络。将数据输入这样一个系统的 唯一方法是借助某种物理设备，比如 U 盘。显然，五角大楼会将其无人机镜头加载到这个系统中，谷歌需要一种方法来访问这些数据，并将其输入神经网络。这种安排意味着谷歌将无法控制该系统，甚至无法很好地了解该系统是如何使用 的。11 月，由 9 名谷歌工程师组成的一支团队被指派来为该 系统开发软件，但他们的工作从未启动。在很快意识到这款软件的用途之后，他们拒绝以任何方式参与。
新年过后，随着该项目的消息开始在公司内部传播，其 他人担心谷歌正在帮助五角大楼实施无人机袭击。2 月，这 9 名工程师在公司内部的社交网络“谷歌+”发布的帖子中讲 述了他们的故事。很多志同道合的员工支持这一立场，并将 这些工程师称为“九人队”。在这个月的最后一天，云业务的 产品经理梅雷迪思·惠特克写了一份*愿请**书，她曾在纽约大 学创立了致力于人工智能伦理研究的最知名的组织之一“人 工智能当下研究所”。 *愿请**书要求皮查伊撤销马文项目的合同，她在*愿请**书中写道：“谷歌不应该参与战争。”
在第二天的谷歌公开会议上，高管们告诉员工，马文项目的合同额最高只有900 万美元，谷歌只是为了“非攻击性” 目的开发技术。但是，不安情绪持续增长。当晚，就有 500 人在惠特克的*愿请**书上签名，第二天又有 1,000 人签名。4月初，在 3,100 多名员工签名后，《纽约时报》发表了一篇报道，讲述了正在发生的事情。几天后，云业务的负责人邀请惠特克在一次公司公开会议上参加了一个关于马文项目合同的圆桌讨论。她和另外两名支持马文项目的谷歌同事就这个问题进行了三次不同的辩论，这样就可以在全球三个不同的时区进行直播。
在伦敦的 DeepMind 内部，有超过一半的员工在惠特克的*愿请**书上签名，穆斯塔法·苏莱曼在抗议中发挥了特别突出的作用。谷歌的马文项目合同是对苏莱曼基本信念的攻击。
他认为谷歌内部的抗议活动证明，欧洲的敏感性正在蔓延到美国，甚至改变了最大的科技公司的方向。欧洲的舆论浪潮催生了《通用数据保护条例》（General Data Protection Regulation，GDPR），该法案迫使这些科技公司尊重数据隐私。
现在，谷歌内部的一股浪潮正迫使该公司重新思考其军事业务的方式。随着争议的加剧，苏莱曼敦促皮查伊和沃克最终确定道德准则，正式界定谷歌要做什么和不做什么。
李飞飞
5 月中旬，一群独立学者给拉里·佩奇、桑达尔·皮查伊、李飞飞和谷歌云业务负责人写了一封公开信。信中提道：“作为研究、教授和开发信息技术的学者和研究人员，我们写这封信是为了声援 3,100 多名谷歌员工，其他技术工 作者也加入了进来，他们反对谷歌参与马文项目。我们全心 全意地支持他们的要求，即谷歌必须终止与国防部的合同， 谷歌及其母公司 Alphabet 必须承诺不开发军事技术，不将公司收集的个人数据用于军事目的。”13 这封信获得了超过 1,000 名学者的签名，包括约书亚·本吉奥和李飞飞在斯坦 福大学的几名同事。
李飞飞被夹在中间，一边是她的老板在产业界想要的东西，一边是她的同行在学术界想要的东西。她的困境体现出 这几年来，两个世界之间更大的碰撞。一项被学者们修补了几十年的技术，如今已成为世界上一些最大型、最有实力的 公司的基本驱动力，它的未来与其他任何事情一样，都由对 金钱的追逐所决定。很多人现在对这个问题的感受如此之深， 以至于他们甚至指责辛顿没有充分表达他的担忧。“我对他的尊重减弱了很多，因为他什么也没说。”斯坦福大学前教授杰克·保尔森（Jack Poulson）说，他曾在谷歌的多伦多办 公室工作，就在辛顿办公室楼下几层。但在幕后，辛顿以个 人身份敦促谢尔盖·布林取消合同。
在公开信发表后，李飞飞显然收到了死亡威胁，她告诉 很多人她担心自己的安全，并坚称，加入马文项目不是她推动的。“我没有参与申请马文项目或接受合同的决策，”她后来说，然后回应了她那封与埃隆·马斯克及第三次世界大战 相关的电子邮件，“我对销售团队的警告是准确的。”5 月 30 日，《纽约时报》在头版刊登了一篇关于她的邮件引发争议的 报道，公司内部的抗议声越来越大。14 几天后，谷歌的高管们告诉员工，他们不会续约这份合同了。
谷歌的最终决定，是对政府合同的更大*制抵**的一部分。 Clarifai 的员工也对他们在马文项目上的业务提出异议。在三名军官和其他人来访后，一名工程师立即退出了该项目，其他人在接下来的几周和几个月里离开了公司。在微软和亚马 逊，员工抗议军事合同和监视合同。但是，这些抗议活动 远没有那么有效。即便在谷歌，舆论的浪潮最终也消失了。
该公司与大多数反对马文项目的人分道扬镳，包括梅雷迪 思·惠特克和杰克·保尔森，而李飞飞回到了斯坦福大学。
尽管谷歌已经放弃了合同，但它仍在朝着同一个方向努力。
一年后，肯特·沃克在华盛顿的一次活动中与沙纳汉将军一 起登台，并表示马文项目并不代表公司更广泛的目标。他说：“这是一个针对单项合同的决定，而不是关于我们与国 防部合作的意愿或合作历史的更广泛的声明。”
资料来源:
《深度学习革命：从历史到未来》