引言
本文原载于《原子科学家公报》（Bulletin of the Atomic Scientists ）2019年第3期。（DOI: 10.1080/00963402.2019.1604873）作者菲尔·托雷斯是一位作家和学者，目前是剑桥大学风险研究中心的访问学者。他的著作主要关注文明和人类面临的生存风险。他的最新著作是《道德、远见和人类繁荣：存在风险导论》（Morality, Foresight, and Human Flourishing: An Introduction to Existential Risks），并即将完成《人类灭亡简史》（A Brief History of Human Extinction）的写作。尽管当今的人工智能还停留在弱人工智能阶段，强人工智能在可预见的未来是否能够实现还存在广泛争议，目前担忧通用人工智能（乃至超级人工智能）对人类构成生存危险还有些为时尚早，但关于这类议题的深入讨论和研究对于规范人工智能向善发展和造福人类未来还是饶有裨益的。在本文中，作者详细考察了通用人工智能实现的可能性及其潜在的风险，对于当今的人工智能研究和未来发展方向具有一定的启示意义。有鉴于此，笔者将其全文翻译如下，以飨读者，希望推动更多的人关注和思考这一议题，未雨绸缪，防患于未然，共同守护人类的福祉和未来。这篇文章主要考察了通用人工智能技术（artificial general intelligence, AGI）可能对人类带来空前生存威胁的原因。如果在人类创造出这种技术前没有成功的解决“控制它的问题”，其带来的必然后果就是人类的毁灭。由此我们可以推导出，在人工智能（artificial intelligence, AI军备竞赛的技术研发阶段，人们可能会在安全预防上做出让步。因此，这场军备竞赛很有可能对于一个国家、甚至是对于整个人类都是致命的。人类的技术水平达到一个阶段后，AI军备竞赛可能是相当愚蠢的：它有可能会危及整个人类的未来。
从成功识别人脸，再到成功理解人类的话语，人工智能的开发者们目前已经取得了跨越式的进步。他们已经设计出了能够分析、解译数据，且具有实用意义的人工智能系统。尽管这些技术非常实用，但它们仅仅代表了一种狭义的人工智能。研究者希望能扩展人工智能的能力，创造出能够主动解释事物结果、进行抽象思考的人工智能，其学习方式不再是数据密集型（data-intensive），而是更像人类学习的方式。尽管美国国防部高级研究计划局（Defense Advanced Research Programs Agency，DARPA）还在论证这些想法是否可行，但有些学者看的更远：他们认为人工智能有更大的潜力，可以带来一场机器认知能力的革新。人工智能研究的终极梦想就是创造出所谓的“通用人工智能”技术。
（DARPA计划投资20亿美元研制第三代人工智能技术）事实上，通用人工智能技术有可能是人类有史以来最强大的技术。理论家对于通用人工智能技术蓬勃发展带来的影响持有广泛的分歧。有些人推断，这种技术可能几十年内都不会出现。但如果这种技术确实横空出世，它会带来一场远比人类历史先前的新石器革命、工业革命深刻而广泛的革命。正如约翰·古德（I.J. Good）在1966年写下的那句著名的话，人工智能将会成为“人类最后的发明”。尽管过去的技术都是为人类所用的，通用人工智能会改变这一情况：它会凭借自己的实力自成一体。此外，一个和人类有相同能力的系统，由于它处理数据比人脑至快一百万倍，会自动地成为包含海量数据的超级人工智能。如果美国的学生取得博士学位平均上要花费8.2年，通用人工智能可能只需要几分钟就完成了。事实上，几分钟的估计可能都过于保守，因为通用人工智能可以直接获得丰富的、几乎可以看作是超级智能的系统资源，比如在线计算器（Calculators），或者像维基百科这样的在线知识数据库。此外，通用人工智能可能只是次人类智能和超级人工智能间昙花一现的产物。超级人工智能几乎可以完成人类认知领域的所有事情。其原因在于，无论人类怀着怎样的目的开发出超级人工智能，修改其源码以增强其认知能力是必经之路。因此，无论通用人工智能是用来计算尽可能多的2的平方根的小数位数，还是找到癌症的治愈方法，或是制造一些钴弹（cobalt bombs），抑或只是设计一个偏远城区的新街道，通用人工智能都需要变得更加聪明。
由此可见，尽管通用人工智能具有纽约大学教授大卫·查默斯（David Chalmers）所说的“可延展性（extendible）”（查默斯 2010年），即它具有易于更新的特性，提高其自身的智力仍然是其最优先的事项之一。因此，通用人工智能将会发起一个积极的反馈环，它每次自身能力的提高都会进一步提高其改善自我的能力，从而带来智力的爆炸。在数分钟、数小时或几天内，人类将会面对一个不仅远聪明于自己且在认知领域拥有更强解决问题能力的存在。 （通用人工智能可以在短期内达到甚至超过人类智力）
当前，通用人工智能研究和发展领域充满着相互重叠的目标和大量的合作，有一些项目是同一批人在负责运行。但是这种情况会迎来改变。事实上，一些研究者认为，通用人工智能的军备竞赛会在接下来几年或者几十年内催生出拥有自主意识的超级人工智能。通用人工智能充满着潜力，它表现出的诸多特点表明：即使是开发者自身也难以驾驭它。政府可能会有巨大动力来推进通用人工智能的研究。最先开发出通用人工智能的国家将会拥有决定性的优势，这种优势甚至是核武器都无法提供的。当前，围绕着创造通用人工智能的研究，全球有数量众多的项目。全球灾难风险研究院(Global Catastrophic Risk Institute)的联合创始人之一塞思·鲍姆（Seth Baum）列举了45个项目，比如DeepMind、OpenAI、GoodAI、CommAI、CogPrime、SingularityNET和人脑计划（the Human Brain Project）等项目。（鲍姆 2017年）其中的20个项目都和学术机构有紧密联系，其余的也与私人企业、供应机构、非营利机构和政府等由联系。此外，一个很明确的群体，准确而言有40个之多，设立了鲍姆提到的人性的或是知性的目标。也就是说，他们的目标旨在开发一个造福全人类的、能够解决科学和数学领域智力问题的通用人工智能。在这些项目中，和军方有联系的项目不多，其中八个与军方有联系的项目主要接受来自美国学术项目的资金支持，而这些学术项目接受来自军方的募金。只有一个项目（DSO-CA）是基于军事防务研究所的，该研究所是主要进行国防研究的新加坡DSO国家实验室（Singapore’s DSO National Laboratories）。但是，鲍姆指出，在45个项目中，有32家与军方是否有联系尚不可知。因为鲍姆的研究是基于公开数据来源的，我们可以猜想，可能有数字不明的通用人工智能研究项目正在隐秘地由政府或机构运行，甚至由一些小团体或者个体研究者运行。所有通用人工智能的研究者都必须面对如何控制人工智能的这个问题。也就是说，最关键的问题是，人类应该怎样创造出一个远比人类聪明的算法，同时确保对它的控制。（算法是人工智能的数学基础）这听起来可能并不困难，但是仔细研究后我们不难发现，这可能是人类要克服的最为可怖的智力难题。此外，我们有理由相信，没能成功解决控制问题的后果将是非常严重的——不是一两个国家或是一部分人类群体，而是整个人类。而且，考虑到这一技术快速发展的可能性或是概率，任何创造出第一个通用人工智能的人将会带领人类跨过卢比孔河，进入到一个全新的时代。如果项目失败，有国家或是人工智能开发者能站出来，为这个失败的项目按下暂停键吗？有很多科技即使失控但并不会带来毁灭或坏影响，或者是只是无法带来好结果。但是通用人工智能不一样。因为，通用人工智能从定义上就是匹敌、或者远超人类解决问题水平的技术。如果发生了无法预料的负面结果，它被赋予的能够实现任何目标的能力将会超过开发者制止它的能力。此外，超级人工智能算法似乎是不会自动地意识到实现其目标的过程中造成危害是不好的、是应该被更正的。在思考几个棘手的哲学概念时，控制问题变得越来越清晰。这几个概念合在一起，给我们提出了一个似乎无法解决的难题。正交性理论（The orthogonality thesis）。一些理论家相信，设定广泛的最终目标可以和实现广域的智能水平（a wide range of intelligence）结合起来。因此，在下面的十亿年里超级智能只关注井字棋游戏的这一想法不无道理。但是，假设科学家让超级智能的目标系统仅仅限制在数哈佛大学校园内的草叶数量，然而这个超级智能却想“我应该用我无穷的能力去探索宇宙的神秘，建立一个‘普遍适用的大理论’并且解决全球的贫困问题。这个目标太蠢了，我不想去做。”这种情境在原则上是不会出现的。算法只会服从指令行动。工具趋同理论（The instrumental convergence thesis）。一个通用人工智能会无情地实现其目标，不会过问在人类价值体系的先后顺序。为了贯彻其目标，像认知的增强性（cognitive enhancement）一样，它会设定几个中间性的目标（intermediary goals）。其他的中间性目标可能包括获得有关目标的资源（goal-related resources），维护其最终目标系统的完整性和阻止人类关闭其系统。在这样的过程中，产生一个危险的通用人工智能的步骤就浮现了出来。在一段赫芬顿邮报对牛津大学教授尼克·博斯特罗姆（Nick Bostrom）的采访中，教授给出了一个尽可能制造出更多的回形针的人工智能的例子。“这个人工智能会迅速地意识到，没有人类会更好地实现既定的目标，因为人类可能会关掉它的开关。如果人类这么做的话，会生产出更少的回形针。同样，人类身体中也有着许多原子可以用来制作回形针。人工智能想要努力创造的未来，可能是一个有许多回形针却没有人类的未来。”在这里，危险就表现为人类和生态圈、地球一样都是自然资源的一种，可以被用来实现通用人工智能的最终目标，不管这个目标究竟是什么。（详见2018年瑞典科学家黑格斯特罗姆（Häggström）教授的讨论）价值复杂性理论（The complexity of value thesis）：通用人工智能的开发者可以简单地按照人类的价值观来编程吗？首先，这些测度值具有计算机科学家所说的高“柯尔莫哥洛夫复杂性”（a high Kolmogorov complexity），这意味着它们不能被压缩到一个简单的规则中去。以数字123123123和352695142为例，第一串数字具有较低的“柯尔莫哥洛夫复杂性”，因为它可以被压缩成123的三次重复。然而第二串数字不能如此简单描述。人类的价值观测度更接近于第二串数字而非前者。即使开发者知道人类的目标是什么，如何将其编程植入通用人工智能仍然是一个问题。价值混乱性理论（The perplexity of value thesis）：那么人类的价值和目标到底是什么？历史上许多哲学家都曾就这类规范性的基本问题进行争论，也就是回答“应该是什么”而不是“事实上是什么”。在科学领域中，人们的价值体系倾向于通过一个或是一组简洁的观点表达出来，但哲学领域中存在着各种不同的观点而且每个观点都有自己的杰出代表人物。2014年的一项调查发现，职业哲学家在规范伦理学、道德动机学和元伦理学等领域存在广泛分歧。在经济和政治领域，情况同样不是很乐观。民主是否好于专制？资本主义是否好于社会主义？人们对这些问题都存在巨大分歧。即使是那些倾向于某一意识形态的人群，在无数细节上也存在着不小的意见差异。因此，通用人工智能的开发者们必须花更多时间来考虑什么样的认知可以被称为人类的价值。价值脆弱性理论（The fragility of value thesis）：价值体系也可能具有非此即彼的属性：要么完胜，要么惨败。如果体系中一个组件的值丢了，那么系统输出值就会与期望值大不一样。一个经典的案例是，正确拨打十个电话号码中的9个并不能找到与预期的电话接听者有90%相似度的人。这种非线性比例意味着一个本来需要1000个部件才能正常运转的系统，在达到通用人工智能状态时只有999个部件在位。随后系统会发生智能爆炸（intelligence explosion），这对其实现既定目标造成了极其负面的后果。还有所谓的相对速度理论，即计算机硬件中电势（electrical potentials）处理信息的速度比人脑中的动作电位（action potentials）处理信息要快得多。即使是在电脑上模拟运行的大脑也会通过在某些领域（比如计算）获取在线信息的方式立即实现超级智能。对它来说，外界将几乎冻结在时间里。还有一种快速能力增益理论，它是用来阐释通用人工智能是如何快速工作来提高自己的“智力”的。鉴于以上种种理论，我们领会到通用人工智能是如此富于争论。如果通用人工智能的开发者一开始并没有把事情做得天衣无缝那么后果是难以想象的，比方说，一种被编程用于治疗癌症的通用人工智能可能很快就会把全球生态系统变成它的研究实验室，整个生态系统会因此崩溃进而导致人类的灭亡。这听起来可能有一些荒谬，但最有可能发生的事情是，即使是在对可能出错的原因进行广泛的反思之后，开发者仍然可能遗漏一些关键的东西---这些因素导致通用人工智能在追求其程序设定的目标时对物质世界造成严重破坏。借用斯蒂芬·霍金（Stephen Hawking）的话说，如果先进的人工智能技术不是发生在人类身上最好的事情，那它一定是最糟糕的事情。通用人工智能的军备竞赛是非常危险的，可能比以往任何军备竞赛都危险得多，包括从1947年到1991年美苏两国持续的军备竞赛。但冷战是受到了“相互确保摧毁”机制制约的，即先发制人的第一次打击将遭到报复性打击，使发动国和对手同归于尽。然而通用人工智能的军备竞赛是和特定国家的利益一致的，结果可能就是赢者通吃的局面。
（各主要大国都已经相继出台了自己的人工智能发展规划）然而各国还是会迫切地去追求通用人工智能，因为第一个创造出来的国家会得到对人类文明的完全控制。2017年俄罗斯总统弗拉基米尔·普京宣称：“人工智能就是未来，不仅是俄罗斯的未来，也是全人类的未来……谁成为这个领域的领导者，谁就将成为世界的统治者。”虽然不清楚普京是特指通用人工智能技术（AGI）还是广义上的人工智能，但他的结论可能是正确的。这一局势可能会因下列事实而恶化。虽然冷战涉及两极格局，即只有两个行动者参与军备竞赛，但在通用人工智能的军备竞赛中，参与国可能会远远超过两个。根据牛津大学研究人员在2016年进行的一场博弈论分析，随着通用人工智能项目数量的增加，信息在各国的研究团体之间的自由共享以及各国家之间日益加深的敌意，通用人工智能军备竞赛发生的风险几率也大大增加。现在已经有很多通用人工智能的研究和开发项目了，而且这些项目会把代码公开供其他人参考。幸运的是，各国之间的敌意还没有产生，但是它极有可能出现在军备竞赛的情况中。“人工智能否认主义
（AI denialism）”的危险
让各国和其他潜在竞争者认真考虑人工智能的控制问题是十分重要的，因为人工智能否定主义极其危险。“人工智能否定主义”指的是否定人工智能存在威胁，这常常会歪曲甚至误解人工智能安全专家的关切。在畅销书《现代启蒙》（Enlightenment Now）中，哈佛大学心理学家史蒂夫·平克（Steven Pinker）将担忧超级智能比作“二十一世纪的千年虫（Y2K）”。他写道，人工智能灾难“有时被称为机器人末日”。事实上，平克的术语具有误导性。大多数认真思考过通用人工智能的人不会相信终结者式的机器人会崛起并主宰人类。忧虑通用人工智能的人也根本没有陷入千年虫问题产生的巨大恐慌中。在2015年的一篇文章中，平克消除了自己的疑虑：人工智能反乌托邦者将狭隘的男性主义心理学投射到智能的概念上。他们认为，具有超人智慧的机器人会制定一些目标，比如推翻他们的主人或者接管世界。但是智能是一种运用新手段达到目标的能力；这些目标与智能本身无关。很明显，我们的许多技术预言家并不认为人工智能会沿着女性主义的路线自然发展：它们将完全有能力解决人类面临的问题，但无意消灭平民或统治人类文明。
平克仅仅是动了动笔，就否定了通用人工智能安全领域的所有研究工作。但通用人工智能可能会带来不可逆转的、翻天覆地的结果。因此所有参与通用人工智能开发的各方都必须认识到出错后果的严重性。在极度缺乏合作的国际环境中，特别是当各项目将实现通用人工智能视为第一要务而忽视安全要素时，人类将可能遭受灾难。
THE END
文字 | 原作者：菲尔·托雷斯（Phil Torres）译者：滕藤、陈曦 校对：龙坤
图片 | 来源于网络
编辑 | Q
“军事高科技在线”征稿啦！！
详情请戳👇👇👇