2023年5月22日，OpenAI几位主要创始人Sam Altman、Greg Brockman、Ilya Sutskever发表了题为《Governance of superintelligence》的文章，提出，现在是开始思考超级智能的治理的好时机，因为未来人工智能系统的能力甚至有一定概率超越通用人工智能的能力，其中提到了：阻止超级智能的迭代将非常困难。笔者对本文进行了翻译，供大家参考。
欢迎大家点击在看，转发到朋友圈~~这样兔儿就更有动力写出更多好内容了~
*转载请附上本文的所有参考文献链接
*本文2000字左右
安全与对齐（Safety & Alignment）
基于目前的情况和现状，我们可以想象未来十年内，人工智能系统会超过大量领域专家，真正参与同今天很多最大的公司同样多且丰富的生产活动。如果进一步深入探究其中的好处和坏处，超级智能会超过人类历史上面对的所有最强大的技术。这意味着，我们人类可以开始拥抱一个迅速发展繁荣的未来。但是，作为人类，我们也必须进行风险控制和管理，才能真正实现美好的希望。鉴于潜在风险发生的可能性，我们不能单纯且被动。
比如说，核能（核武器）是具备同样技术特征的常用例子，而合成生物学是另一个。我们必须努力降低当今人工智能技术的所带来的风险，但超级智能，确实需要特殊的处理和协调。
本文（下文）提出了我们关于应对并治理超级智能的三个思路：
首先，需要协调带动技术领先与发展之间的步骤，以确保超级智能的发展能以一种既可以保证人类安全，又能帮助高科技AI系统与整个社会顺利融合。
有许多方法可以实现这个目标：比如说，世界上的主要国家和地区的政府可以共同建立一个项目，让当前许多技术上的实践进入全球共同的这个项目，或者我们大家可以集体商量并同意（在下面所提议新设立组织的支持下），将前沿的人工智能科技能力的增长速度进行限制，让它每年以一定的速度（有计划地发展）。当然，对于掌握主要技术大公司来说，应该以极高的标准，负责任地做出各项决策。第二，人类最终可能需要类似于 IAEA （国际原子能机构）的组织，来处理超级智能的。所有超过目前发展程度的技术尝试（比如计算资源等）的努力，都需要接受国际权威机构的检查，并且对这些行动进行审计，以测试是否符合安全标准，并且对部署程度和安全级别进行限制等等。阿法兔注：国际原子能机构（International Atomic Energy Agency；IAEA）是一个同联合国建立关系，并由世界各国政府在原子能领域进行科学技术合作的机构。总部设在维也纳，组织机构包括大会、理事会和秘书处。（资料来源：百度百科）我们认为，追踪计算能力和能源的使用情况，在实现上述方案会有很大帮助。第一步，各个公司可以协商统一，并开始组建机构，并且提前准备未来可能需要的各项要素。第二步，各国家可以对上述思路开始进行实施。重要的是，这样一个类似IAEA 的机构应专注于思考如何降低风险，而不是给各个国家制造更多问题（such as defining what an AI should be allowed to say）。第三，人类需要有技术实力，来让超级智能更为安全，而这是一个开放的研究问题，我们和很多伙伴正在在这个领域投入大量精力。我们认为，监管的重要方向，是要允许公司和开源项目去开发低于具有重大破坏能力的模型，我们在这里不讨论传统的监管思路（包括许可证或审计等机制）。
虽然人工智能系统确实存在风险，但是，超级智能系统，将为世界创造巨大的价值。虽然这些系统确实有风险，但这些风险的程度感觉与其他互联网技术和社会可能的方法相称，似乎是合适的。
我们应该小心，不要通过将类似的标准应用于远低于这个标准的技术，从而淡化对这些技术的关注。
但是，如果想要治理最为强大的人工智能系统，以及有关其部署，必须具备强有力的公众监督。我们相信，世界各地的人们应该共同决定人工智能系统发展的边界与默认值，我们尚且无法知道如何设计这样一个机制，但我们计划，对系统的发展进行不断试验。我们仍认为，在这些广泛的界限内，个人用户应该对自己应用人工智能的行为方式有很大的控制权。
鉴于面临的各项风险和困难，值得考虑的是，我们今天为什么要构建发展这项技术。
首先，我们相信，超级智能将会带来一个比今天所能想象的更美好世界（我们已经在教育、创造性工作和个人生产力等领域看到了早期呈现出来的案例）。世界面临着很多问题，我们需要更多的辅助方式来解决；这项技术可以改善我们的社会，而每个人使用这些新工具的创造能力，会让所有人感到惊讶，经济增长和生活质量将不断提高。
第二，我们认为，阻止超级智能的迭代将非常困难。因为它具备太多优势，构建这项技术的成本每年都在降低，参与构建超级智能的人的数量正在直线上升，而且超级智能发展本来就是我们正在走的技术道路的一部分，阻止超级智能发展，将会需要类似”全球监控制度/全球联席治理方法。而即便这样，也不能保证能阻止超级智能发展。
So we have to get it right.参考文献：https://openai.com/blog/governance-of-superintelligence#SamAltmanhttps://baike.baidu.com/item/%E5%9B%BD%E9%99%85%E5%8E%9F%E5%AD%90%E8%83%BD%E6%9C%BA%E6%9E%84