物理定律为信息交流的速度设置了上限，这个上限对任何想要统治世界的人工智能来说都是一个明显的挑战，更别说统治宇宙了。普罗米修斯在越狱之前，就已经仔细揣度过如何避免思维的碎片化，这样，它那分散在全世界各地的众多人工智能模块才能保持目标一致，并像一个统一的整体一样行动。正如欧米茄团队想困住普罗米修斯时面临的控制问题一样，普罗米修斯想要保证它的各个部分不会倒戈反叛，也需要面对自我控制这个问题。我们显然还不知道人工智能可以直接控制多大的系统，也不知道它们通过某种合作式的等级结构能够间接地控制多大的系统，即便快速起飞会给它决策上的先发优势。
总而言之，未来我们应该如何控制超级智能，是一个迷人又复杂的问题。我们还不知道答案是什么。一些人认为，社会会走向极权主义，还有一些人认为，超级智能会赋予个体更多的权利。
赛博格与智能上传，进入仿真者时代
许多科幻作品都写道，人类会与机器相融合。要么是用技术来增强肉身，变成赛博格，要么是将我们的智能上传到机器中。经济学家罗宾·汉森（Robin Hanson）在其《仿真者时代》（The Age of Em）一书中精彩地审视了在一个充满上传者(39)的世界中，生命会变成什么样。我认为，上传者是赛博格的极端情况。对于一个上传者来说，人只剩下了软件。好莱坞电影中的赛博格有许多种，有的拥有明显的机械化身体，比如电影《星际迷航》中的博格人（Borg），还有的机器人与人类无异，例如电影《终结者》中的机器人。在科幻作品中，上传者的智力水平各有不同，有的智力水平与人类相当，比如电视剧《黑镜》第四季《白色圣诞》剧集中的上传者，有的智力远超人类，比如《超验骇客》中的上传者。
如果超级智能真的来临了，那么，变成赛博格或上传者的诱惑是很大的。正如汉斯·莫拉维克在他1988年的经典著作《智力后裔》中所说：“如果我们注定只能傻傻地看着超级智能用我们能理解的‘儿语’向我们描述它们日益惊人的科学发现，那活得再久也没有什么意义。”确实，用技术来增强身体的诱惑已经很强了，比如，许多人会佩戴眼镜、助听器、心脏起搏器和义肢等，还有在血液中流淌的药物分子。一些年轻人似乎和他们的智能手机永久地黏在了一起，我太太也总是嘲笑我离不开我的笔记本电脑。
当今世界上，最著名的赛博格支持者莫过于雷·库兹韦尔了，他在《奇点临近》一书中说，这个趋势的自然延伸就是，使用纳米机器人和智能生物反馈系统等技术来取代我们的器官，先是在21世纪30年代早期取代消化系统、内分泌系统、血液和心脏，然后，在接下来的20年中，会对我们的骨骼、皮肤、大脑以及其他器官进行升级。库兹韦尔猜测，我们虽然很可能会保留对人体的审美体验和情感输入，但会重新设计它们，以便在现实世界和虚拟现实（使用新型的脑机接口）中随意改变外观。莫拉维克同意库兹韦尔的观点，即赛博格运动能做的远不止是改善我们的DNA：“一个经过了基因改造的超人只是一个二流的机器人，因为它的设计有一个障碍，那就是，它只能通过DNA引导的蛋白质合成来实现。”而且汉斯·莫拉维克认为，如果我们能完全消除肉体的限制，选择上传思想，在软件中创造出全脑模拟，那我们会做得更好。这种上传者可以生活在虚拟现实中，也可以附身在能走、能飞、能游泳、能在外太空旅行、能在物理定律允许的范围内做任何事情的机器人身上，而不用受到死亡或有限的认知资源等世俗担忧的影响。
尽管这些想法听起来像科幻小说，但它们并没有违反任何已知的物理定律。所以，最有趣的问题不在于它们能不能发生，而在于它们会不会发生；如果会，将在何时发生。一些著名的思想家猜测，第一个人类水平的通用人工智能将是一个上传者，这就是通往超级智能之路的起点(40)。
然而，平心而论，在人工智能研究者和神经科学家中，只有少数人赞同这个观点。他们中的大多数人猜测，实现超级智能的最快途径并不是大脑仿真，而是用其他方法来进行工程设计，在这之后，我们对大脑仿真的兴趣可能还继续存在，也可能就此消失。毕竟，实现一项新技术最简单的途径不一定非得采取进化的方式，因为这会受到很多要求的限制，比如进化规定它必须能够自我装配、自我修复和自我繁殖。进化虽然在能源效率方面颇有成效，因为食物毕竟是有限的，但并不容易被人类工程师构建和理解。我的妻子梅亚常说，航空业并不是从机械鸟开始的。确实，我们一直到2011年才搞明白如何制造机器鸟[1]，而早在100多年前，莱特兄弟就已经进行了第一次飞行实验。在这100多年期间，航空业的从业者根本没有兴趣研究如何将飞机变成可以扑腾翅膀的机器鸟，尽管鸟的能效确实很高。这是因为我们的早期解决方案看重的是，飞机更能满足我们的出行需求。
同样地，我认为在建造人类水平的智能机器方面，一定也有比进化更简单的方式。即便有一天，我们能够实现复制或上传智能，但在那之前，我们肯定能先发现一些更简单的方案。智能机器的功率可能会大于人脑的功率，也就是大于12W。不过，它的工程师不会像进化那样过于执迷于能效，毕竟他们很快就能用这些智能机器设计出能耗更低的机器。
实际上，会发生什么呢
对这个问题，一个简单的回答就是我们不知道答案。我们不知道如果人类成功地建造出了人类水平的通用人工智能，会发生什么事。出于这个原因，我们花了一整章的篇幅探索了形形色色的情形。我试着将各种各样的情况都包含进来，涵盖了我所见过或听过的人工智能研究者和技术专家的所有推测：快速起飞／缓慢起飞／压根儿不起飞，人／机器／赛博格，权力集中化／权力分散化，等等。有些人告诉我，他们确信这些情形不会发生。不过我认为，在这个阶段，谦卑一些，承认我们知之甚少，才是明智的选择。因为对于前文讨论过的每种情形，我都知道至少有一位备受尊敬的人工智能研究者认为这真的会发生。
随着时间的推移，我们在路上遇到了一些岔路口。接下来，我们将开始回答一些关键问题，并缩小选择范围。第一个大问题是：“我们会不会创造出人类水平的通用人工智能？”本章的前提是我们会，但有一些人工智能专家认为，这是永远不会发生的事情，至少在几百年内不会发生。只有时间才能回答这个问题！正如我前面所提到的，在我们的波多黎各会议上，约有一半的人工智能专家猜测，这会在2055年前发生。在我们两年后举行的后续会议上，这个预期已经提前到了2047年。
在任何人类水平的通用人工智能被造出来之前，我们可能会看到一些明显的迹象，暗示我们它的实现方式会是计算机工程、智能上传，还是一些没有预料到的新方法。目前，这个领域的主流方法是计算机工程。如果这种方法在几个世纪内都没能实现通用人工智能，那么，智能上传的概率就会增加，就像电影《超验骇客》中那样，虽然看起来非常不现实。
如果人类水平的通用人工智能实现的脚步更加近了，我们就能对下一个重要问题做出更有根据的猜测，这个问题就是：“它会快速起飞、缓慢起飞，还是压根不起飞？”正如我们前文所看到的那样，快速起飞会让人工智能更容易统治世界，而慢速起飞可能会带来很多竞争对手。尼克·波斯特洛姆将这个起飞速度的问题分解成两个问题，并分别称为优化力（optimization power）和抗性（recalcitrance）。优化力指的是让人工智能变得更聪明所需要的优质努力程度；抗性指的是取得进展的困难程度。在任务上花费的优化力越多，进步的平均速度就会显著提升；遇到的抗性越多，进步的平均速度就会降低。他经过论证得出，当通用人工智能达到并超越人类水平时，抗性可能会增加，也可能会减少，所以，对这两种可能性都未雨绸缪，才是安全的选择。然而，当通用人工智能超越人类水平时，优化力极有可能会迅速增长。我们在欧米茄团队的故事中已经看到了个中缘由：进一步优化所需要的东西并不来自人类，而是来自机器本身。所以，通用人工智能的能力越强，进步的速度也就越快，前提是抗性保持不变。
如果能力进步的速度与其当下的能力成一定的比例，那么，每隔一定的时间，能力就会翻倍。我们把这种增长叫作指数型增长，把这种过程形象地称为“爆炸”。比如，如果生育能力增长的速度与人口规模成比例，人口就会爆炸；如果能裂变为钚的中子的生成速度与这种中子的数量成比例增长，就会发生核爆炸；如果机器智能增长的速度与它当前的能力成比例，就会发生智能爆炸。这些爆炸的特征就是，它们爆炸的时间恰好是其能力翻倍的时间。如果智能爆炸翻倍的周期像在欧米茄团队的故事里讲的那样短至几个小时或几天，那就是一种快速起飞。
智能爆炸的时间尺度取决于改进人工智能需要的是新软件还是新硬件。如果只需要软件，那爆炸可能在几秒钟、几分钟或几小时内发生；如果需要的是新硬件，那可能要花几个月或几年的时间。在欧米茄团队的故事中，有一个明显的现象，用波斯特洛姆的专业术语来说就是“硬件过剩”（hardware overhang）：一开始，软件的质量并不高，欧米茄团队用大量的硬件弥补了原始软件的不足，这意味着普罗米修斯只需要改进它的软件，就可以实现多次的能力翻倍。互联网上的数据也有一个显著的特点叫作“内容过剩”（content overhang），这是因为，当普罗米修斯还处于1.0版本时，它还不够聪明，尚不能完全利用这些内容。但一旦普罗米修斯的智能增长到足够的程度，它进一步学习所需的数据就唾手可得，因为这些数据早已存在于互联网上。
运行人工智能的硬件和电力成本也很重要，因为如果机器以人类水平的智能工作的成本没有降到低于人类时薪之前，智能爆炸是不会发生的。比如，假设第一个人类水平的通用人工智能在亚马逊云计算平台上每完成一个小时的人类工作所花费的成本是100万美元，那么，这个通用人工智能具有很高的新颖价值，无疑将登上头条新闻，但它不会发生迭代式的自我改进，因为继续用人类来改进它会便宜得多。假设人类把每小时的成本逐渐削减到10万美元、1万美元、1 000美元、100美元、10美元，最后降到1美元，当用计算机来重新自我编程的成本降到远低于雇用程序员来做同样的事情所需支付的薪水时，程序员就会失业。通过购买云计算时间，优化力会极大增加。这又进一步削减了成本，带来了更多的优化力。智能爆炸就此开始。
这留给我们最后一个关键的问题：“谁或者什么东西会控制智能爆炸及其后果？他／它的目标是什么？”我们将在下一章讨论可能的目标和结果，并在第7章进行更加深入的探讨。为了研究关于控制的问题，我们需要知道人工智能可以被控制到何种程度，以及人工智能可以控制到何种程度。
最终究竟会发生什么事呢？你会发现，严肃的思考者们莫衷一是。有些人认为结果一定是悲剧，而另一些人则坚称结果一定是极好的。然而，对于我来说，这个问题本身就有问题，因为它是在被动地询问“会发生什么”，就好像未来已经注定好了一样，而这是错误的！如果一个高级外星科技文明明天就会抵达地球，那么此时，问它们的宇宙飞船抵达时“会发生什么”才是合适的，因为它们的力量可能远远超过我们，所以我们无法对结果产生任何影响。然而，如果一个由人工智能驱动的高级科技文明即将到来，而人类正是它的缔造者，那么，人类对结果具有很大的影响力，这个影响是在我们创造这个人工智能的过程中潜移默化地加诸其上的。所以我们应该问：“应该发生什么？我们想要什么样的未来？”
在下一章中，我们将探讨当前的通用人工智能研究可能产生的种种后果。我很好奇，你将如何对这些结果由好到坏进行排序。只有我们努力思考过自己想要什么样的未来，才有可能向这个方向前进。如果我们不知道自己想要什么，那就无法得偿所愿。
本章要点
◦ 如果有一天我们造出了人类水平的通用人工智能，就可能会触发一场智能爆炸，将人类远远甩在后面。
◦ 如果这场智能爆炸是由一些人类控制的，那他们可能会在几年时间内控制整个世界。
◦ 如果人类没能掌控这场智能爆炸，那么，人工智能可能会以更快的速度控制世界。
◦ 快速的智能爆炸可能会导致单极化的超级力量的出现；一个延续几年或者几十年的慢速智能爆炸更有可能促成多极化的情形，许多相当独立的实体在其中达成一种力量的平衡。
◦ 生命的历史说明，它总会自我组织成更复杂的层级结构，这种层级结构是由合作、竞争和控制共同塑造的。超级智能或许会促成更大宇宙尺度上的合作，但是，它最终会导致极权主义和由上自下的控制，还是会赋予个体更多权力，目前尚不清楚。
◦ 赛博格和上传者是可能的，但或许并不是实现机器智能的最快途径。
◦ 目前人工智能研究竞赛的高潮要么是人类历史上最好的事情，要么是最坏的事情。可能的后果形形色色，多种多样。我们将在下一章探讨这些可能性。
◦ 我们需要努力思考，我们希望看到什么样的结果，以及如何才能达成这个目标，因为如果我们不去思考自己想要什么，很可能无法得偿所愿。
奔向通用人工智能的竞赛已经打响。虽然我们不知道它将如何展开，但不能因此而停止思考它会带来的后果，因为我们的想法会影响结果。你希望看到什么样的局面呢？为什么？
◦ 你想看到超级智能吗？
◦ 你想要人类继续存在，还是被取代，还是变成赛博格、上传者，或是被模拟？
◦ 你想要人类还是机器处于控制地位？
◦ 你想要人工智能产生意识吗？
◦ 你想要最大化积极体验，还是最小化痛苦折磨，还是顺其自然，让它自行解决？
◦ 你想要生命被散播到宇宙各处吗？
◦ 你想要文明朝着你所支持的更高目标而努力发展吗？还是说，你也可以接受未来的生命形态满足于在你看来毫无意义、陈腐不堪的目标？
为了促成这样的思考和对话，让我们来探索一下表5-1和表5-2中总结的人工智能可能带来的各种情形及其特征。这个清单虽然并不完整，但我们可以用它来拓展可能性的范围。我们不想因为计划不周而陷入错误的泥淖。我建议你略记一下你对第1～7个问题的暂时回答，然后在读完本章之后回顾一下，看看你是否改变了主意。你可以在http://AgeOfAi.org上做这件事，在这个网站，你还可以比较一下其他读者的笔记，并和他们进行讨论。
表5-1 人工智能可能带来的后果总汇
续前表
① 阿米什人是美国和加拿大安大略省的一群基督教再洗礼派门诺会信徒，他们通常拒绝使用现代科技，过着简朴的生活。——编者注
表5-2 人工智能可能带来的各种后果的特征
自由主义乌托邦
首先，让我们来看看人与科技和平相处的情形。在某种情况下，人甚至能与科技融为一体，就像许多未来学家和科幻作家幻想的那样。
在自由主义乌托邦，地球上的生命以及地球之外的生命比以往任何时候都更加多样化。如果你看看卫星拍摄的地球图像，就可以很轻松地分辨出三个区域：机器区域、人类专属区域和人机混合区域。
机器区域是由机器人控制的巨大工厂和计算中心，那里没有生物意义上的生命，其目的是把每个原子都物尽其用。尽管机器区域看上去单调乏味，但它们的内部却非常活跃，在它们的虚拟世界中发生着惊人的事情。在那里，庞大的计算过程正在揭开宇宙的秘密，革命性的技术如雨后春笋般不断涌现。地球上的许多超级智慧的智能在互相竞争与合作，而它们都居住在机器区域。
人机混合区域的居民高度混杂，包括计算机、机器人、人类以及三者的混合体。正如汉斯·莫拉维克和雷·库兹韦尔等未来学家所设想的那样，许多人已经用科技将自己的身体升级为不同程度的赛博格，还有一些人已经将自己的智能上传到了新的硬件上，使得人与机器的界限日渐模糊。大多数智能的存在并没有永久的物理形态。相反，它们以软件的形式存在，能够在计算机之间顷刻移动，还能通过机器人的身体在物理世界中展现自我。由于这些智能可以很容易地自我复制或合并在一起，这里的“人口规模”总在不断变化。又由于不受物质形态的束缚，这里的居民拥有相当不同的人生观：它们感觉不到那么强烈的个人主义，因为它们总是不断地与他人分享知识和体验模块；并且，它们主观上会感觉自己是永生的，因为它们可以随时对自己进行备份。从某种意义上说，生活最核心的部分并不是智能，而是体验：特别精彩的体验会永远活下去，因为它们不断地被其他人复制和再次享用，而无趣的体验则被其所有者删除，以腾出存储空间留给更好的体验。
尽管大多数互动都是在虚拟环境中进行的，但许多智能仍然喜欢使用物理形态的身体进行互动和活动。比如，假设莫拉维克、库兹韦尔和拉里·佩奇上传智能后，他们的上传版本喜欢在一起玩。他们喜欢轮番创造虚拟现实，然后一起探索，但偶尔，他们也喜欢附身在现实世界中的双翼机器鸟身上，一起在天空中翱翔。一些在人机混合区域的街道、天空和湖泊漫游的机器人，同样也可能是由上传或增强的人类所控制的，他们选择在人机混合区域中将自己的智能附身在物理实体上，因为他们喜欢有人陪伴的感觉。
相反，在人类专属区域，人类水平和更高水平的通用智能机器都被禁止出入，通过技术增强的生物有机体也同样被禁止。这里的生活与我们今天没有太大的不同，只不过更加富裕和方便。贫困已经基本销声匿迹，大部分疾病都可以被治愈。居住在这些地区的人中，有一小部分不太被其他区域的居民所了解，或者知之甚少，他们也不太理解其他区域的高级智能体都在做些什么。不过，他们中的很多人对生活都很满意。
人工智能经济
绝大部分的计算都发生在机器区域，主要由居住在那里的许多互相竞争的超级智能所拥有。凭借其高超的智能和技术，它们的力量无人能敌。这些人工智能达成了一个协议，建立了一个自由主义的治理体系。这个治理体系只保护私有财产，除此之外别无他用。它们用这个体系来互相合作和进行协调。这些产权扩展到包括人类在内的所有智能实体，并解释了人类专属区域是如何形成的，早些时候，一群人聚在一起，决定在他们的区域内禁止向非人类出售财产。
由于先进的技术，超级智能比人类富裕得多，甚至比比尔·盖茨与一个无家可归的乞丐相比的富有程度还要高。虽然，人类专属区域的居民比今天大多数人的日子要好得多，但他们的经济与机器区域的经济相当脱节。所以，除了少许他们可以理解、复制和用得上的技术之外，其他区域的机器对人类专属区域的居民几乎没有任何影响，就像今天的阿米什人和各种与科技隔绝的土著部落一样，他们的生活水平按过去的标准来看，至少和过去不相上下。人类没有什么东西可以卖给机器，不过这没关系，因为机器不需要任何回报。
在人机混合区域，人工智能与人类之间的财富差异更为明显，这导致土地的价格远远贵于其他产品，算得上天文数字了，因为土地是人类拥有的唯一一种人工智能想要购买的东西。因此，大多数拥有土地的人类选择将一小部分土地出售给人工智能，以换取他们及其后代或其上传者的永久性基本收入。这使人类摆脱了对工作的需要，将他们从中解放出来，好享用物质世界和虚拟现实中由人工智能生产的又好又多又便宜的产品和服务。只要把人工智能考虑进去，那么，人机混合区域的主要功能就是为了玩，而不是工作。
为什么这种情况可能永远不会发生
听到我们可能会变成赛博格或者上传者，你可能会很兴奋。但是，可别高兴太早，这种情形也可能永远不会发生。让我们先来看看原因。首先，想要实现人类增强，也就是成为赛博格和上传者，有两条可能的路径：
◦ 我们自己发现了实现它们的方法；
◦ 我们建造了超级智能机器，让这些机器来搞明白实现它们的方法。
首先，如果第一条路先走通，它自然会让世界充满机器人和上传者。然而，正如我们在第4章所讨论的那样，大多数人工智能研究者认为，第二条路的可能性更高。因为建造增强大脑和电子大脑的难度远远高于从零开始建造一台超人类水平的通用人工智能的难度，就像机器鸟比飞机更难建造一样。即使我们建成了超强的人工智能，能不能造出赛博格和上传者依然不甚明晰。如果尼安德特人拥有10万年的时间来进化，变得更聪明，对他们自己来说自然很好，但我们智人却从来没有给他们这么多的时间。
其次，即使赛博格和上传者真的出现了，我们也不清楚这个情形是否稳定，能不能维持下去。想一想，几个超级智能体难道会甘于几千年保持势均力敌的状态？它们为什么不选择合并，从而融合成一个更加聪明的个体，然后统治世界呢？此外，既然机器不需要人类，而且它们能以更低的成本更好地完成人类的工作，为什么还会选择尊重人类的产权，并把人类留在身边呢？库兹韦尔推测说，自然人和增强人都会受到保护，免于灭绝，因为“人类因发明了人工智能而受到它们的尊重”[1]。然而，正如我们在第7章中将要讨论的那样，我们不能陷入将人工智能拟人化的陷阱，假设它们也拥有“感激”这种人类才有的情感。事实上，虽然人类总是习惯性的感恩，但我们中的许多人也没对我们智慧的创造者DNA表现出多么的感激，而是选择用避孕的方式来阻挠它实现自己的目标。
即使我们相信人工智能会尊重人类产权，它们也完全可以通过其他方式来逐渐获得人类的土地，比如，用第4章提到过的那些聪明的说服方法，来说动人类出售一些为奢侈生活而保留的土地。在人类专属区域，它们可以怂恿人类发动允许土地买卖的政治运动。毕竟，即使是坚持有机生物至上的顽固“卢德分子”也可能想卖掉一些土地，以挽救疾病缠身的儿童或者获得永生。如果人类忙于教育、娱乐和其他事情，那么，即便人工智能不插手，出生率也可能会下降，从而缩小人口规模，就像日本和德国目前的情况一样。这样的话，人类可能会在几千年内灭绝。
痛苦将不再是人类的专利
热心的支持者认为，赛博格和上传者有潜力让所有人通过技术获得幸福和延长寿命。事实上，由于相信未来能实现智能上传，有100多人选择死后将大脑交给亚利桑那州的Alcor公司冷冻起来。但是，即使这项技术变成现实，也不一定人人都能用得上。富翁们当然能使用，但除此之外还有谁呢？即使这项技术变便宜了，让穷人也能负担得起，还有一个问题是，界限应该划在哪里呢？损伤严重的大脑能被允许上传吗？我们会上传大猩猩吗？还有蚂蚁、植物和细菌呢？未来的文明是否会像囤积强迫症患者一样，试图上传一切，或者本着诺亚方舟的精神，在每个物种中挑选一些有趣的个体来上传？又或者，在每个人种里挑选几个有代表性的个体？到那时，可能已经存在大量更加智能的实体，那么，上传一个人或许并不比模拟一只老鼠或蜗牛更有意思。这就好比，虽然我们目前的技术完全有能力复活20世纪80年代DOS系统中的表格程序，但没有人觉得这是一件有意思的事，也不会有人去这么做。
许多人可能不喜欢这种“自由主义乌托邦”的情形，因为它可能会带来一些本可以避免的苦难。由于产权是唯一神圣的原则，所以，没有什么能够阻止当今世界的一些痛苦被带入未来的人类专属区域和人机混合区域。在一部分人兴旺发达之时，其他人可能会陷入悲惨和奴役的情景之中，或者遭受暴力、恐惧、压抑或沮丧。比如，马歇尔·布莱恩在其2003年的小说《曼娜》（Manna）中描述了，在自由主义经济体系中，人工智能的进步让大多数美国人失去了工作，只能在机器人运营的社会福利房中度过单调沉闷的余生。他们就像农场中的动物一样，在富人永远看不到的地方被好好地喂养，保持着健康和安全。饮水中的避孕药物确保他们不会生孩子，所以大部分人口将被淘汰，而剩下的富人将拥有更多由机器人创造的财富。
在自由主义乌托邦的情形下，痛苦不一定只是人类的专利。如果一些机器也产生了有意识的情感体验，那它们也可能会受苦。比如，一个怀恨在心的精神病患者可能会以合法的方式将仇人的副本上传到计算机中，并在虚拟世界中向他施以最可怕的折磨，这样带来的痛苦程度和持续时间将远远超出现实世界中的生物可能遭受的程度。
善意的“独裁者”
现在，让我们来探讨一下另一种情景。在这种情景中，上面所说的所有痛苦都不复存在，因为有一个仁慈善良的超级智能体在掌管着世界。它执行着严格的规则，旨在将它的“人类幸福模型”最大化。这是第4章所讲的欧米茄团队带来的第一个可能的结果。在这种情景中，欧米茄团队搞明白了如何将“让社会蓬勃发展”的目标赋予普罗米修斯，然后把控制权移交给它。
“独裁者”人工智能开发出了惊人的技术，帮助人类消除了贫穷、疾病等低技术水平的问题，所有人类都享受着奢华休闲的生活。人工智能控制的机器生产出所有必需的产品和服务，满足了人类所有的基本需求。犯罪现象被消灭了，因为人工智能“独裁者”基本上是无所不知的，可以有效地惩罚任何违反规则的人。每个人都佩戴着第4章所说的安全手环或其他更方便的植入装置，这些装置能够实时监控、惩罚、注射镇静剂和执行死刑。虽然人人都知道他们生活在人工智能专政的极端监视和治安维持之下，但大多数人认为这是一件好事。
超级智能的人工智能“独裁者”的目标是，研究人类基因中展现出来的进化偏好，从而搞明白人类的理想社会是什么样子，然后去实现它。从开发人工智能的人类工程师那里，人工智能“独裁者”获得了一些有智慧的远见，因此，它不会为了实现人类的极乐世界而选择给人类注射吗啡。相反，人工智能“独裁者”对“人类繁荣”的定义相当复杂和微妙，它将地球变成了一个高度丰富的动物园，居住在这里的人类非常开心。因此大多数人对当前的生活十分满足，并认为富有意义。
9大区域系统
由于人工智能理解多样化的重要性，也意识到不同的人拥有不同的偏好，因此，它将地球划分成了不同的区域，供人们选择，这样你就可以和同类人住在一起。下面举了一些例子：
◦ 知识区域：在这个区域，人工智能会提供最优质的教育，包括沉浸式的虚拟现实体验，你能学习任何你想学习的东西，你还可以选择在学习时，让它先别告诉你结论，而是引领你去发现，享受发现的乐趣。
◦ 艺术区域：在这里，你可以拥有许多机会去享受、创造和分享音乐、艺术、文学等创造性的表达形式。
◦ 享乐区域：当地人把这里叫作“聚会区”，对那些渴望美食、激情、亲密行为或者只是单纯想享受疯狂快乐的人来说，这里是首屈一指的选择。
◦ 敬神区域：有许多不同的敬神区域，每一个区域对应着不同的宗教。这些区域拥有十分严苛的规章制度。
◦ 野外区域：不管你是想要美丽的海滩、可爱的湖泊、壮观的山峦，还是奇妙的峡湾，都可以在这里找到。
◦ 传统区域：在这里，你可以自己栽种粮食，靠种地生活，就像过去的人们一样，但你不必担心饥荒和疾病。
◦ 游戏区域：如果你喜欢电脑游戏，那么，人工智能在这里创造出了能让你极度兴奋的选项。
◦ 虚拟区域：如果你想要抛却肉身去度假，那么在这里，人工智能体让你通过神经植入的方式探索虚拟世界，同时帮你保持碳水平衡，喂以食物，并帮你保持锻炼和清洁身体。
◦ 监狱区域：如果你违法了，但不是什么需要立刻处死的罪行，就会被抓到这里关起来。
除了这些“传统”的主题区域之外，还有一些新兴主题可能是今天的人类不能理解的。一开始，人类可以在各个区域之间自由迁徙，这要归功于人工智能的超音速运输系统。比如，当你在知识区域度过了忙碌的一周，学习了人工智能发现的大量终极物理规律之后，可能想要在周末转换到享乐区域轻松一下，再去野外区域的海滩度假村放松几天。
人工智能执行的规则有两个层次：通用规则和本地规则。通用规则适用于所有区域，比如禁止伤害他人、禁止制造武器、禁止尝试创造与独裁者类似的超级智能等。除此之外，各个区域还拥有一些本地规则，形成了某些道德规范。因此，这种区域体系有助于处理不相容的价值观。监狱区域和一些敬神区域的本地规则数量最多；还存在一个自由区域，这个区域内没有任何本地规则，这里的居民以此为荣。所有的惩罚，包括地方上的惩罚，都是由人工智能来执行的，因为如果用人来惩罚另一个人，会违反通用规则中的“禁止伤害他人”的条例。如果你违反当地的规则而没有进监狱区域，人工智能会给你两个选择：接受预先设定的惩罚，或者永远离开该区域。比如，如果两个女性相爱了，但她们生活在一个禁止同性恋的区域中，就像今天的许多国家一样，那么，人工智能会给她们两个选择：要么被关进监狱，要么永远离开这个区域，永远不可以见到她们的老朋友，除非那些朋友和她们一起离开。
无论你出生在哪个区域，所有儿童都能从“独裁者”人工智能那里获得一定程度的基础教育，其中包括关于人类整体和各个区域的知识，比如，他们会学到如何自由访问并迁徙到其他区域的知识。
人工智能之所以会设计出如此多样化的区域，是因为它的创造者人类在设计它时，让它了解了人类多样化的重要性。每个区域带来的快乐都比今天的技术所能带来的快乐更多，因为人工智能已经消除了所有困扰人们多年的老问题，比如贫穷和犯罪；而且，享乐区域中的人们不必担心性传播疾病（已被根除）、宿醉或药物上瘾（人工智能开发出了完美的康复药物，无副作用）。事实上，任何一个区域都不需要担心任何疾病，因为人工智能体用纳米技术修复人体。许多区域的居民都可以享受到高科技式的建筑物，这些建筑物和精美程度连科幻电影中的画面都相形见绌。
总而言之，在自由主义乌托邦和善意的“独裁者”的情形中，超级人工智能都会带来技术和财富，但二者在谁管事和目标方面存在差异。在自由主义乌托邦中，是由那些占有技术和财产的人来做决定，而在善意的“独裁者”的情形下，“独裁者”人工智能拥有无限的权力，并由它来设定最终目标，那就是，把地球变成一个符合人类各种偏好的主题式游轮。由于人工智能给出了许多不同的幸福路径供人类选择，并且还十分关心人们的物质需求，这意味着如果有人受苦，那只能是出于他们自己的选择。
愉快，却毫无意义
虽然在善意的“独裁者”人工智能的情形中，到处都是美好的体验，也基本上没有人会受苦，但许多人却觉得，这不是最好的。首先，有些人希望，人类在塑造社会和自我命运方面应当拥有更多的自由，但他们没有把这些想法说出来，因为他们知道，挑战高高在上的人工智能无异于自杀。一些人希望能自由地拥有尽可能多的孩子，并抱怨人工智能为了可持续发展而采取的人口控制政策，枪支爱好者讨厌禁止建造和使用武器的禁令，一些科学家也不喜欢禁止建造超级智能的禁令。许多人认为，某些区域的人道德低下，他们一方面对此十分愤慨，另一方面又担心自己的孩子会选择搬到那里，所以，他们渴望能把自己的道德标准强加于所有区域。
随着时间的推移，越来越多的人选择迁徙到那些能给予他们想要的一切的区域。在过去，人们对天堂的想象是，能得到自己应得的东西。而善意的独裁者的情况却更符合朱利安·巴恩斯（Julian Barnes）在其1989年的小说《10–1/2卷人的历史》（History of the World in 10 1/2 Chapters）中所描述的“新天堂”精神(41)。在“新天堂”里，你得到的不是你应得的东西，而是你想要的东西。然而矛盾的是，许多人对总能得偿所愿这一事实感到很悲哀。在巴恩斯的故事里，主角把大量时间花在了纵情人生上，从暴饮暴食到打高尔夫球，再到与名人上床，但最终屈服于厌倦，走向毁灭。在善意的“独裁者”的情景中，许多人也会遇到类似的情况。他们虽然生活得很愉快，却感到毫无意义。虽说可以人为地创造一些挑战，比如科学发现和攀岩，但每个人都知道这些挑战只是娱乐而已，不是真的。人们试图去做科学研究是没有意义的，因为人工智能早已掌握了一切。人类试图创造一些东西来改善生活也是没有意义的，因为如果他们想要，只要跟人工智能说一声，就能立刻得到。
平等主义乌托邦
现在，让我们来探讨一个与善意的“独裁者”情景相反的情景。这个情景中没有超级智能，人类是自己命运的主人。这是马歇尔·布莱恩的小说《曼娜》中描述的第四代文明（the 4th Generation Civilization）。从经济学的角度来说，这是自由主义乌托邦的对立面，因为在这里，人类、赛博格和上传者之间之所以能和平共处，并不是因为有财产权的保护，而是因为废除了私有财产和增加了保障收入。
没有财产的人生
这个情景的核心思想来自开源软件运动。这个思想就是：如果软件可以自由复制，使得每个人都可以根据自己的需要尽可能多地使用这些软件，那它们的所有权问题就失去了实际意义(42)。根据供求规律，成本反映了稀缺性，所以，如果供应是无限的，那价格就会变得极低，甚至可以忽略不计。这个情景十分符合这种思想，在平等主义乌托邦，所有知识产权都被废除了：没有专利，没有版权，也没有商标设计，人们乐于分享他们的好点子，每个人都可以自由地使用它们。
由于机器人技术非常发达，同样的“无产权”思想不仅适用于软件、书籍、电影和设计方案等信息产品，也被应用于房屋、汽车、服装和计算机等具有物质实体的产品。所有这些产品都是由原子组合而成的。原子并不稀缺，比比皆是。所以，当一个人想要一个特定的产品时，机器人网络就会用一个开源设计方案来做一个，并免费送给他。机器人会认真地处理可回收材料，这样，每当有人厌倦了他们使用的某件物品时，它们就把这些物品的原子重新排列成其他人需要的物品。这样一来，所有的资源都被回收了，所以，没有资源会被永久销毁。这些机器人还建造和维护着足够多的利用太阳能和风能等可再生能源的发电厂，所以，能源基本上也是免费的。
为了避免强迫性囤积者索要过多的产品或土地，导致其他人不能得偿所愿，每个人每个月都能从政府那里领取一笔基本收入。他们可以用这笔钱来购买自己想要的东西，租住自己想住的房子。几乎没人有挣更多钱的动机，因为这笔基本收入很高，足以满足任何合理的需求。即使他们去尝试挣钱也是徒劳无功的，因为竞争对手都在免费赠送各种智力产品。此外，还有机器人在生产着各种各样的免费产品。
创造力和技术，从来不发源于金钱
虽然有时知识产权被誉为是创造力和发明之母，但马歇尔·布莱恩指出，在人类创造力的最佳例子中，比如科学发现、文学创作、艺术、音乐和设计，许多都不是出于利益，而是出于其他动机，比如好奇心、对创造的渴望或同伴的赏识。激励爱因斯坦发明狭义相对论的并不是金钱，促使林纳斯·托瓦兹（Linus Torvalds）创造出免费Linux操作系统的同样也不是金钱。相比之下，现在有很多人都没有意识到自己的创造潜力，因为，为了谋生，他们需要投入时间和精力到创造性不那么高的活动上。布莱恩笔下的乌托邦社会将科学家、艺术家、发明家和设计师从鸡毛蒜皮的琐碎小事中解放出来，激发了他们纯粹的创作欲望，因此，这种社会定能拥有比今天更高的创新水平，相应也会拥有更高超的技术和更好的生活水平。
未来的某一天，人类可能会开发出这样一种新技术，称为“Vertebrane”。这种技术就像一种“超级互联网”。它通过神经植入物将所有自愿接入的人无线连接起来，这样，人们只需要动动脑子，就可以随时获取全世界的免费信息。有了它，你还可以上传你想分享的任何体验，以供其他人尝试。你还可以随意下载任意虚拟体验来替代你的感官体验。《曼娜》这本书探讨了这种技术的诸多好处，比如，可以把锻炼身体简化为打瞌睡：
剧烈运动的最大问题就是没有乐趣。它令你疼痛。运动员可以忍受疼痛，但大多数正常人都不想忍受长达一个小时甚至更长时间的疼痛。所以，有人想出了一个解决方案。你只需要中断一个小时大脑与感官输入的连接，用这一个小时的时间来看电影、与人交谈、处理邮件或读书，在此期间，Vertebrane系统会帮你锻炼身体。它会让你的身体完成一次完整的有氧运动，如果没有它，这套运动超出了大多数人能容忍的程度。有了Vertebrane帮你锻炼身体，虽然你没有任何感觉，但你的身体却能保持良好的状态。
此外，Vertebrane系统的计算机能监测每个人的感官输入，如果它发现有人即将实施犯罪行为，那它就可以暂时制伏他们，让他们动弹不得。
偏见与不稳定
有一种反对平等主义乌托邦的声音说，这种情景对非人智能有偏见：任劳任怨、辛苦工作的机器人似乎都很聪明，却被人类当作奴隶一样对待。人类理所当然地认为，它们是无意识的，所以不应该拥有任何权利。相反，自由主义乌托邦将权利赋予了所有智能体，而不会偏向于我们这种碳基类智能。曾几何时，美国南方的白人生活得很舒适，因为大部分工作都由奴隶来完成，但今天大多数人都认为，把蓄奴称为“进步”，在道德上是不可接受的。
平等主义乌托邦情景的另一个缺点是，从长远来看，它可能很不稳定，站不住脚。只要无情的技术进步最终造出了超级智能，它就会转变为其他情景。在《曼娜》一书中，超级智能还不存在，新技术都是由人类而不是由计算机发明的，但书中并未解释原因。不过，这本书还是强调了向这个方向发展的趋势，比如，不断改进的Vertebrane可能会变得超级智能。另外，还有一大群绰号为“维特人”（Vites）的人几乎完全生活在虚拟世界中，Vertebrane负责照顾他们的一切生活起居，包括进食、洗澡和上厕所，他们位于虚拟现实中的智能对这些事情都没有知觉和意识。维特人没兴趣在物理世界中生孩子，如果他们的肉体死了，他们的虚拟智能也会死去。所以，如果每个人都变成了维特人，那人类就会在一片荣耀与极乐的虚拟光芒中走向灭绝。
