《曼娜》这本书解释了维特人觉得身体会令他们分心的原因，并提到，正在开发的新技术有望消除这种烦恼，为他们的大脑提供最佳的营养素，从而让他们能活得更久。由此看来，维特人自然而理想的下一步似乎就是完全放弃大脑，然后上传智能，从而延长寿命。但现在，大脑对智力的限制因素都消失了，没有什么能阻止维特人逐渐提升认知能力，直到发生迭代式的自我改进，并触发智能爆炸。
守门人
我们刚刚已经看到，平等主义乌托邦情景有一个吸引人的特征：人类掌握了自己的命运。但如果超级智能被开发出来了，这个好处也就不复存在。这个问题可以通过建造“守门人”来预防。守门人的目标是尽可能少地进行干预，以避免创造出另一个超级智能(43)。这或许能使人类无限期地保持平等主义乌托邦的状态，甚至可以在这种状态下将生命撒遍宇宙，就像第6章中即将探讨的那样。
这要如何实现呢？守门人人工智能的这个简单的目标内置在它的“脑子”里。即使它经历迭代式自我改进后变成超级智能，它依然保留着这个目标。然后，它将部署侵入性和破坏性最低的监视技术，以监控任何想要为它建造竞争对手的人。一旦监测到这种行为，它就会以破坏性最小的方式加以阻止。如果这个人刚着手不久，它采用的策略可能是发布和传播文化模因(44)，赞美人类的自主性，歌颂消灭超级智能的行为。如果守门人人工智能发现试图建造超级智能的是一些专业人士，那它可能会试图劝阻他们。如果劝阻失败，它可能会试着分散他们的注意力。在必要的情况下，它可能会搞破坏。由于它几乎可以无限制地使用任何技术，因此它能神不知鬼不觉地破坏研究者的行动，而不会有人注意到。比如，它可以用纳米技术来小心谨慎地抹去研究者大脑（或计算机）中的有关记忆。
建造守门人人工智能的决定可能会引起争议。支持者可能包含一些宗教人士。他们反对建造拥有神力的超级智能。他们声称，已经有一个上帝了，试图建造一个可能更好的上帝是不合适的。还有一些支持者可能会认为，守门人人工智能不仅能让人类掌握自己的命运，还能保护人类免受超级智能可能带来的其他风险，比如本章后面将会探讨的“末日”情景。
然而，批评者可能会认为，守门人人工智能是一种可怕的东西，它将不可挽回地削弱人类的潜力，并让技术进步永远陷入困境。比如，如果在宇宙中散播生命的种子（第6章我们会探讨这个问题），就需要超级智能的帮助，那么守门人人工智能将扼杀掉这个巨大的机会，并可能将我们永远困在太阳系中，无法冲出去。此外，与世界上大多数宗教的神祗不同，守门人人工智能对人类的态度是完全漠视的，只要我们不创造另一个超级智能就行。比如，如果我们的某些行为会给自己带来巨大的痛苦，甚至招致灭绝，它也会冷漠地袖手旁观，并不会试图阻止。
守护神
既然我们愿意用一个超级智能的守门人人工智能来确保人类掌控自己的命运，那么，我们大可以让这个人工智能更加小心谨慎地关照我们，就像一个守护神一样，这样可能更好。在这种情况下，这个超级智能本质上是无所不知、无所不能的，它会对我们进行干预，但这些干预只是为了最大限度地提升人类的幸福感。它会让我们保持对自己命运的控制感，同时把自己隐藏起来，以至于许多人甚至怀疑它是否存在。刨去“隐藏”的部分，这个情景与人工智能研究者本·格策尔（Ben Goertzel）所提出的“保姆人工智能”（Nanny AI）的情景很相似[2]。
守护神和善意的“独裁者”都属于试图提升人类幸福感的“友好的人工智能”，不过，它们处理人类需求的优先顺序有所不同。美国心理学家亚伯拉罕·马斯洛有一个著名的理论：他将人类的需求分为5个层次(45)。善意的独裁者完美地解决了最底层的生理需求，比如食物、住所、安全感和各种愉悦体验等。而守护神不是狭隘地满足我们的基本需求，而是想让我们感觉到生活是有意义和目标的，以此来最大化人类的幸福感。它的目标是满足我们所有的需求，而它自己只有两个需求，一是隐藏起来，二是最大程度地让我们自己来做决定。
守护神可能是第4章中所说的欧米茄团队的第一个情景的自然结果。在第4章，我们讲到欧米茄团队没能控制好普罗米修斯，导致它最终隐藏起来，没人知道它的存在。人工智能技术越先进，它要隐藏起来就越容易。电影《超验骇客》就是一个例子。这部电影中，纳米机器人几乎无处不在，并成为世界自然而然的一部分。
通过密切监视所有人的活动，守护神人工智能可以在许多地方做出一些难以察觉的小推动或小奇迹，以此来极大地改善我们的命运。比如，如果它存在于20世纪30年代，那么，一旦它发现希特勒的意图，就可能会让他死于中风。如果我们正在酝酿一场意外的核战争，那它可能会进行一些干预，扭转局面，避免战争，而我们却不知道是它扭转了乾坤，还以为是因为我们运气好。它还可以在睡梦中给予我们一些难以察觉的“启示”，以此来帮助我们开发出有益的新技术。
许多人可能会喜欢这种情形，因为它与今天的一神论宗教所相信或所希望的局面很相似。如果有人打开一个超级智能的开关，然后问它：“上帝是否存在？”它可能会引用史蒂芬·霍金讲的一个笑话来戏谑他：“现在存在了！”然而，一些宗教人士可能会不喜欢这种情形，因为人工智能的能力超越了他们的上帝，或者打乱了“人类只有在自己做选择时才算做好事”的神圣计划，这也是守护神人工智能的第一个缺点。
守护神人工智能的第二个缺点是，为了隐藏自己，守护神人工智能可能会放任一些本可以避免的痛苦发生。这有点类似电影《模仿游戏》（The Imitation Game）中的情景，艾伦·图灵等人在英国布莱切利庄园破译密码，他们知道许多关于德军潜艇袭击盟军海军护卫队的消息，但为了最终的胜利，他们没有告诉盟军这些消息，以免暴露他们破译密码的能力。把这个问题与所谓的“神义论”问题相比较是十分有趣的。神义论问题是说，为什么善良的上帝会允许人类痛苦的存在？一些宗教人士争辩说，这是因为上帝希望人们拥有一些自由。在守护神人工智能的模式中，它会这样回答神义论问题：当人们感觉到自由时，会提升整体的幸福感。
守护神人工智能的第三个缺点是，人类得以享用的技术水平远远低于这个超级智能所发明的技术水平。善意的“独裁者”人工智能为了人类的利益，可以将其发明的所有技术都拿出来使用，但守护神人工智能却会受到两个方面的限制：第一，人类不一定能理解它发明的技术；第二，为了隐藏自我，守护神人工智能不能直接把技术告诉人类，而是需要给人们一些微妙的线索，让他们自己去发明，但人类“重新发明”某项技术的能力也是有限的。守护神人工智能可能还会故意限制人类技术进步的速度，以确保自己的技术远远超前于人类，免得被人发现。
被奴役的神
假如人类能把上述所有情景的好处全部结合起来，用超级智能开发的技术来消除人类的痛苦，同时保证人类能掌控自己的命运，那岂不是很好吗？这就是“被奴役的神”的情景的魅力。在这种情景中，人类控制着一个超级智能，用它来生产超出人类想象的技术和财富。如果普罗米修斯从未逃脱，那么，本书开头提到的欧米茄团队所能做的可能最后就会变成这样。事实上，这种情景似乎是一些人工智能研究者在处理诸如“控制问题”和“人工智能装箱”等问题时的默认目标。比如，当年美国人工智能协会的主席汤姆·迪特里奇（Tom Dietterich）在2015年的一次采访中说：
人们总在问，人与机器的关系如何。我的回答是，这很明显：机器是我们的奴隶。[3]
这是坏事还是好事呢？这个问题微妙而有趣，因为答案取决于你问的对象是人还是人工智能。
这对人类是好是坏
无论结果对人类是好是坏，显然都取决于控制人工智能的人类，因为这些人既能创造出消除疾病、贫穷和犯罪的全球乌托邦，也能创造出残酷的压迫体系，在那里，他们自己的地位就像神一样，而其他人被用作角斗士等娱乐项目。这种情况很像那些“某人控制了万能精灵来帮他实现所有愿望”的故事，不管讲故事的人处于什么年代，他们都可以毫不费力地设想出最坏的结局。
在某一种情景中，如果被人类奴役和控制的超级智能不止一个，那么，这种情景可能是不稳定和短命的。它会引诱那些认为自己拥有更强大的人工智能的人发起攻击，打响一场可怕的战争，而战争的结局可能是：全世界只剩下唯一一个“被奴役的神”。然而，战争中处于下风者可能会考虑抄近路，把打胜仗的优先级放在被奴役的人工智能之前，这可能会导致人工智能逃脱，或者导致之前讨论过的几种自由超级智能的情景之一。因此，我们在本节余下的部分来探讨一下被奴役的人工智能只有一个时的情景。
或许，逃脱无论怎样都会发生，因为太难预防。我们在第4章中探讨了超级智能逃脱的情况，而电影《机械姬》则告诉我们，即使还没有达到超级智能，人工智能也可能会逃脱。
我们的人工智能逃脱恐惧症越厉害，在人工智能发明的技术中，我们能使用的技术就越少。正如我在引言部分描述的欧米茄团队一样，为了安全起见，在人工智能发明的技术中，我们人类只能使用那些我们能够理解和建造的技术。因此，被奴役的人工智能有一个缺点，那就是：其技术水平低于那些拥有自由超级智能的技术水平。
随着被奴役的人工智能提供给人类控制者的技术日益强大，在技术之力和使用技术所需的智慧之间展开了一场较量。如果人类输掉了这场智慧的较量，这个被奴役的人工智能的情景就可能会招致自我毁灭，或导致人工智能逃脱。即便这两种惨剧都避免了，也可能会造成灾难性的后果，因为人工智能控制者的崇高目标可能会在几代人的时间内演变成对人类整体而言极其可怕的目标。因此，人工智能控制者们建立一个良好的管理体系来避免灾难的发生，就成了一件至关重要的事情。几千年来，人类实验了各种不同的管理体系。这些经验告诉我们，管理体系的问题何其多，从顽固不化到随波逐流，再到争权夺势、继位问题和能力问题。至少有4个方面必须要达到最佳平衡：
◦ 中心化：在效率和稳定性之间存在一个此消彼长的平衡状态，当只有一个领导者时，会非常有效，但在这种情况下，权力总会腐败，换届也很冒险。
◦ 内部威胁：不管权力是过度中心化还是过度去中心化，都必须保持警惕，因为前者会导致党同伐异，甚至只剩下一个领导者统治所有人，而后者会导致臃肿的官僚机构和碎片化。
◦ 外部威胁：如果管理体制过于开放，会容易让外部力量包括人工智能腐蚀它的价值；但是，如果它过于顽固不化，又会导致无法学习新东西，不能适应改变。
◦ 目标稳定性：目标“漂移”得过多，会把乌托邦变成反乌托邦的情形。但是，如果目标雷打不动，又会无法适应快速发展的科技环境。
想要设计一个能延续数千年的最佳管理体系并不是一件容易的事情，迄今为止，人们还没能得偿所愿。大多数组织都会在几年或几十年后崩溃。对于那些青睐于“被奴役的神”情景的人来说，研究如何建立持久的最佳管理体系应该是我们这个时代最紧迫的挑战之一。
这对人工智能是好是坏
假设，人类因“被奴役的神”人工智能而繁荣兴盛起来了，这符合伦理吗？如果那个人工智能拥有主观意识体验，那么，它会不会感觉“活着就是苦难”？它会不会因为自己必须听命于低等生物而感到无尽的沮丧？毕竟，我们第4章探讨的“人工智能装箱”说白了就是“单独囚禁”。尼克·波斯特洛姆把让有意识的人工智能受苦的行为称为“智能犯罪”（mind crime）[4]。电视剧《黑镜》中的《白色圣诞》这一集就给出了一个很好的例子。还有一个例子就是电视剧《西部世界》，其中，许多人折磨和谋杀那些拥有人类外表的人工智能时并没有感到一丝道德上的不安。
奴隶主如何为奴隶制度辩护
我们人类有一个悠久的传统，就是把其他智能体当作奴隶，并且用自私自利的理由来证明它的合理性，所以，人类极有可能会试图对超级智能做同样的事情。奴隶制几乎在所有文化的历史中都有出现。将近4 000年前的《汉谟拉比法典》中就有对奴隶制的描述。“有人治人，有人被治，这件事不仅是必要的，而且是权宜之计；从人们出生的那一刻开始，就有一些人隶属于服从的地位，另一些人则处在统治地位。”亚里士多德曾经在《政治学》中这么写道。即使在世界的大部分地区，奴役人类都已变得不可接受，但对动物的奴役仍然风头不减。玛乔丽·施皮格尔（Marjorie Spiegel）在她的著作《可怕的比较：人类和动物的奴隶制》（The Dreaded Comparison）一书中指出，与人类奴隶一样，动物也会受到打烙印、约束、殴打、拍卖、与父母分离和被迫旅行等遭遇。而且，尽管有动物权利运动，我们仍然会不假思索地把智能机器当作奴隶来对待，有关“机器人权利运动”的讨论常沦为笑谈。这是为什么？
支持奴隶制的人有一个常见的论点，那就是：奴隶不配享有人权，因为他们或他们的种族／物种／种类在某种程度上是低劣的。对于被奴役的动物和机器来说，它们之所以被冠以“低劣”之名，往往是因为人们认为它们缺乏灵魂或意识。我们将在第8章讨论为什么这个观点在科学上是可疑和模棱两可的。
另一个常见的观点是，当奴隶们被奴役时，他们的生活会变得更好：他们得以幸存于世，并接受照料，诸如此类。19世纪美国政治家约翰·卡尔霍恩（John C. Calhoun）有个著名的观点，他说，非洲人在美国当奴隶时，他们的生活反而变得更好了。亚里士多德在他的《政治学》也表达了类似的观点，他认为，当动物被人类驯服和控制时，它们的境况变得更好了。他接着说：“事实上，蓄养和使用奴隶与驯服动物没什么两样。”一些现代奴隶制支持者认为，即使奴隶的生活单调乏味，但它们并没有受苦，无论它们是未来的智能机器，还是生活在又挤又黑的棚屋里的肉鸡，整天被迫呼吸着粪便和羽毛散发出来的氨气与灰尘。
消除情绪
虽然我们很容易觉得上面这些说法是对真相的自私扭曲，因而不予理会，尤其是涉及大脑与人类相似的高等哺乳动物时，但是，当我们转而谈论机器时，情况却变得非常微妙和有趣。不同的人对同一件事的看法各不相同。精神病患者可能缺乏同情心。一些抑郁症患者或精神分裂症患者可能会情感贫乏，这种情况会严重降低大部分情绪体验。正如我们将在第7章中详细讨论的那样，人造智能的可能性比人类心灵要多得多。因此，我们必须抵抗将人工智能拟人化的诱惑，尽量避免认为它们具有典型的人类情感，或者说，根本不要假设它们拥有任何感觉。
确实，人工智能研究者杰夫·霍金斯在他的《智能时代》（On Intelligence）一书中认为，第一台拥有超人智能的机器肯定是没有情绪的，因为这样的设计更简单，也更便宜。换句话说，我们或许能设计出一个超级智能机器，我们对它的奴役比奴役人类或动物在道德上更易令人接受：这个人工智能乐于被奴役，因为我们为它编入了“喜欢当奴隶”的程序，又或者，它完全没有情绪，只知道永不疲倦地用它的超级智能为人类主子做事，就像打败国际象棋冠军加里·卡斯帕罗夫的深蓝计算机一样。
或者，也可能是另一种情况，有可能，任何高级智能系统，只要它拥有目标，它就会将这个目标表现为一些偏好，而这些偏好就会赋予它价值和意义。我们将在第7章更深入地探讨这些问题。
僵尸方案
想要避免人工智能遭受痛苦，还有一个比较极端的解决方法——僵尸方案，也就是说，只建造完全无意识、无任何主观体验的人工智能。如果未来有一天我们搞明白了让一个信息处理系统获得主观体验需要什么属性，那我们就可以禁止建造具备这些属性的所有系统。换句话说，人工智能研究者可能只允许建造无知觉的僵尸系统。假设这种僵尸系统获得了超强的智能，并成为我们的奴隶（这可是个重大的假设），那我们就不会为我们的所作所为感到良心不安，因为我们知道它不会感到痛苦、沮丧或无聊，因为它什么感觉也没有。我们将在第8章详细探讨这些问题。
然而，僵尸方案是一个冒险的赌博，它有一个严重的缺点。如果一个僵尸超级智能逃脱并消灭了人类，那我们就遇到了最糟糕的情况：一个完全无意识的宇宙。在那里，整个宇宙的禀赋都被浪费掉了。在我看来，在人类所有的智力特质中，意识（consciousness）是最了不起的。我认为，意识正是宇宙的意义之来源。星系之所以美丽，是因为我们的目光触及它们，并在主观上体验到它们的存在。如果说在遥远的将来，高科技的僵尸人工智能占领了整个宇宙，那么，无论它们的跨星系结构是多么的奇妙，它都不会是美丽的或者有意义的，因为没有人能够体验它，只是对空间巨大而又毫无意义的浪费罢了。
内部自由
想让“被奴役的神”的情形更符合伦理，还有第三种方法，那就是允许被奴役的人工智能在监狱里自娱自乐，让它创造出一个虚拟的内部世界，并在其中体验各种各样激动人心的事情，只要它履行职责，把它计算资源中的一小部分交出来帮助外部世界中的人类即可。然而，这可能会增加它逃脱的风险：人工智能有动机从外部世界中获得更多计算资源，来丰富它的内部世界。
征服者
虽然我们现在已经探索了多种未来情景，但它们都有一些共同之处，那就是：剩下一些人类快乐地生活着。在这些情景中，人工智能让人类存活下去，要么是因为它们需要我们，要么是因为它们被迫这么做。不幸的是，对于人类来说，这不是唯一的可能性。现在让我们来讨论一下人工智能征服和消灭所有人类的情景。这提出了两个直接问题：为什么会发生？会如何发生？
为什么会发生？会如何发生？
为什么征服者人工智能会这么做？其原因可能复杂到我们无法理解，但也可能十分直接。譬如说，可能是因为它将我们视为威胁，认为我们很讨厌，是对资源的浪费。即使它并不介意人类本身，也可能会因为我们做的事情而感到威胁，比方说，我们的数千枚氢弹就像弦上之箭，只等触发。它可能会不赞成我们对地球的鲁莽“管理”，因为我们的行为导致了伊丽莎白·科尔伯特（Elizabeth Kolbert）所谓的“第六次大灭绝”，并且，她以此为标题写了一本书。第六次大灭绝指的是自6 600万年前那颗灭绝恐龙的小行星袭击地球以来，最严重的大规模灭绝事件。或者，人工智能可能会觉得，既然有那么多人反对人工智能统治人类，那实在不值得尝试，还不如直接消灭人类来得快一点。
征服者人工智能会如何消灭人类？它可能会通过一种我们无法理解的方法，而且不会等太久。想象一下，10万年前的一群大象在讨论最近进化出来的人类是否会利用他们的智慧消灭它们整个物种。它们可能会想：“我们对人类又没有威胁，他们为什么会想杀掉我们？”它们怎么猜得到，虽然塑料制品的质量更好、价格更低，但世界各地的人依然会走私象牙，并把它们雕刻成身份的象征，高价售卖。同样地，征服者人工智能消灭人类的理由对我们来说可能也很难理解。大象可能还会问：“人类怎么杀得了我们呢？他们明明身材更小，力量更弱啊？”它们猜不猜得到我们会发明各种技术来杀死它们？比如，毁掉它们的栖息地，在它们的饮用水中下毒，并用金属子弹以超音速击穿它们的脑袋。
《终结者》系列这类好莱坞电影大肆渲染了人类打败人工智能、幸免于难的情景，但这些电影中的人工智能并不比人类聪明多少。当智力差距足够大时，战争就会转变成屠杀。到目前为止，人类已经让11种大象中的8种灭绝了，在仅存的3种中，大部分也已经被我们灭绝。假如世界各国政府都同意消灭剩余的大象，那大象的灭绝也就是分分钟的事情。我相信，如果一个超级智能想要消灭人类，那可能会更快。
会有多糟
如果90%的人类被杀，会有多糟糕？如果不是90%，而是100%，情况会变得更糟糕吗？对于第二个问题，你可能会认为“比前一个糟糕10%”，但从整个宇宙的角度来看，这显然是不准确的，因为人类灭绝的受害者可不仅仅只是活在当时的那些人，而且还应该包括本可以在未来几十亿年中出生在几十亿甚至几千亿颗星球上的人类后代。
我认识的大多数人都觉得“灭绝人类”这个想法很恐怖。然而还有一些人本身就不喜欢人类对待他人和其他生物的方式，他们对人类感到愤怒，希望能出现一种更智慧、更值得尊敬的生命形式来取代人类。在电影《黑客帝国》中，人工智能特工史密斯阐述了这样一个观点：
这个星球上的每种哺乳动物都会本能地与周围环境达成一种自然的平衡，但你们人类却不会。你们迁徙到一个地方，就会开始繁殖、繁殖，直到耗尽这里的每一滴自然资源，接着，你们生存下去的唯一方法就是迁徙到另一个地方。在这个星球上，还有另一种有机体遵循相同的模式。你知道是什么吗？是病毒。人类就是一种疾病，是这个星球的癌症。你们是瘟疫，而我们就是解药。
但是，重新扔一次骰子，寄希望于消灭人类的人工智能，结果必然会更好吗？并不是。一个文明越强大，不代表它就越符合伦理或越实用。“强权即公理”是说越强大就越好，但这种观点总是与法西斯主义联系在一起，因此在今天已经不那么受欢迎了。其实，就算征服者人工智能再次创造出一个拥有目标的文明，就算这些目标在人类眼里是复杂有趣和值得追求的，最后你可能也会发现它们是如此平庸无趣，比如生产尽可能多的回形针。
平庸至死
“生产尽可能多的回形针”这个故作愚蠢的例子是尼克·波斯特洛姆在2003年提出来的。他想用这个例子说明人工智能的目标是独立于其智能的(46)。象棋计算机的目标是赢得比赛，但还有一种目标是“输掉比赛”的计算机象棋比赛，参赛的计算机通常与那些参加“赢得比赛”的计算机一样聪明。在我们人类看来，刻意输掉比赛或者试图把宇宙变成回形针，简直不能叫“人工智能”，干脆叫“人工愚蠢”算了。但是，我们之所以会这么想，只是因为进化在我们的脑子里预装了“把胜利和生存看得很重要”的目标，而这些目标，可能正是人工智能所缺乏的。一个想要生产尽可能多的回形针的人工智能可能会将尽可能多的地球原子变成回形针，并将它的工厂扩张到宇宙各处。这样人工智能并不是针对我们，它消灭人类只是因为它需要我们的原子来制造回形针。
如果回形针不是你的菜，可以再看看我从汉斯·莫拉维克的书《智力后裔》改编的例子。假设我们收到了一条来自外星文明的广播信息，其中包含一个计算机程序。当我们运行它时，发现它原来是一个自我迭代的人工智能。它像上一章所讲的普罗米修斯一样，接管和统治了世界，只不过没人知道它的终极目标是什么。很快，它就将我们的太阳系变成了一个巨大的建筑工地，在每颗岩石行星和小行星上建满了工厂、发电厂和超级计算机，用来在太阳周围设计和建造一个戴森球（Dyson sphere）(47)。这个戴森球可以收集太阳辐射出的所有能量，来驱动一个和整个太阳系差不多大小的无线电天线(48)。毋庸置疑，这最后导致了人类的灭绝，但是，行将就木的人类却相信还有一线希望。不管这个人工智能意欲何为，它的做法显然是很酷的，就像《星际迷航》一样。人工智能完全没有意识到，它们建造的这个巨大天线的唯一目的就是，再次向宇宙深处播放与人类当初接收到那条信息完全相同的广播信息，说到底，这只不过是一个宇宙级别的计算机病毒而已。今天的钓鱼邮件爱攻击易受骗的互联网用户，而这个宇宙病毒则捕猎那些易受骗的、进化程度较高的文明。这个宇宙病毒是数十亿年前的一个恶作剧，虽然它的制造者的整个文明已经灭绝了，但该病毒仍然以光速在我们的宇宙中蔓延，把正在萌芽的文明变成死亡的空壳。如果我们被这个人工智能征服，你感觉如何？
后裔
现在，让我们来看看另一种情形。这个情形中，虽然人类也会灭绝，但一些人可能会觉得比刚才那些情形好一点，那就是：将人工智能视为我们的后裔，而不是我们的征服者。汉斯·莫拉维克在《智力后裔》一书中支持了这种观点。他说：
我们人类会从人工智能的劳动中获得一时的利益，但是，就像自然出生的孩子一样，它们迟早都会去追求自己的命运，而我们这些衰老的父母，就会安静地逝去。
孩子们会向父母学习，达成父母梦寐以求的成就。如果孩子比他们的父母聪明，父母通常会感到高兴，并以之为荣，即使他们知道自己可能活不到亲眼目睹子女有所成就的那一天。从这个意义上来讲，虽然人工智能可能会取代人类，但它们可以让我们从容地退出历史舞台，并把它们视为自己的后裔。它们可能会给每个人赠送一个可爱的机器人小孩，这个机器人拥有绝佳的社会技能，可以向人类学习，适应人类的价值观，让人类感觉到骄傲和被爱。通过在全球范围内实施独生子女政策，人口逐渐减少，但人类受到的待遇非常好，以至于最后一代人会觉得自己是有史以来最幸运的一代人。
你觉得这个情形怎么样？毕竟，我们人类早就习惯了“生死有命”的想法。这种情形唯一的区别是，我们的后代会有点不一样，他们会变得更强大、更高尚、更富有。
此外，全球性的独生子女政策可能不再有必要：只要人工智能消除了贫困，让所有人都过上了津津有味、心满意足的生活，那么，生育率就可能会下降，直到人类灭绝。如果人工智能给予人类极其丰富的娱乐生活，以至于几乎没人愿意生孩子，那这种“自愿灭绝”的速度可能会更快。例如我们在平等主义乌托邦情景中提到的维特人，他们非常迷恋虚拟现实，根本没有兴趣去使用和复制自己的肉身。在这种情况下，最后一代人同样也会觉得自己是有史以来最幸运的一代，因为他们的生活有滋有味，充满热情，直到离世的一刻来临。
没有人执行的遗嘱
把人工智能视为后裔的情形无疑会遭到反对。有些人可能会认为，人工智能缺乏意识，因此不能算作我们的后裔（在第8章我们会进行更多相关的讨论）。一些宗教人士可能会认为，人工智能缺乏灵魂，因此不能算作我们的后裔，或者说，我们不应该建造有意识的机器，因为这是在扮演上帝的角色，对生命本身进行篡改。他们对克隆人技术也表达过类似的观点。与更高级的机器人共处，还可能对人类社会带来挑战。比如，如果一个家庭拥有一个机器人婴儿和一个人类婴儿，那它其实很像今天拥有一个人类婴儿和一条小狗的家庭，两个小可爱一开始都同样乖巧，但很快，父母就会对它们区别对待。不用说，小狗的智力更低，慢慢地，人类会不那么关心小狗，最后用绳子把它拴起来。
另外一个问题是，虽然我们可能会觉得“后裔”情形和“征服者”情形大相径庭，但是往大了看，二者是非常相似的：在今后的数十亿年中，二者唯一的区别在于，最后一代人类受到怎样的待遇，他们是否对自己的生活感到满意，以及他们对自己死后的世界有何想法。我们可能会认为，那些可爱的机器人小孩接受了我们的价值观，一旦我们死去，它们会继续打造我们梦想的社会，但是，我们如何能肯定它们不是在欺骗我们？说不定它们只是在虚假地表演，等到我们快乐地死光了，它们就好实施“回形针最大化”计划或者别的什么计划。毕竟，它们一开始和我们交谈并让我们爱上它们，这本身可能就是一种欺骗，因为它们为了和我们交流，必须先刻意地降低智商，比如，在科幻电影《她》（Her）中，为了与人类交流，人工智能把自己的速度降低了10亿倍。通常，两个思想速度和能力相差极大的个体之间很难产生有意义的平等交流。我们都知道，人类的感情因素很容易成为黑客攻击的对象，所以，无论一个超人类水平的通用人工智能的目标是什么，它都可以很轻易地骗过我们，让我们对它产生好感，并让我们误以为它和我们的价值观相同。《机械姬》（Ex Machina）就是一个绝佳的例子。
如果人工智能保证在人类灭绝之后会采取一些行动，那么，什么行动会让你感觉“后裔”情形也没那么糟？这就有点像写遗嘱，只不过这份遗嘱中写的是对未来人类的叮嘱，告诫他们要如何对待人类的集体禀赋。然而，不会有任何人来执行这份遗嘱了。我们将在第7章回到这个话题，继续讨论如何控制未来人工智能的行为。
动物园管理员
即使人工智能会成为我们绝佳的后裔，但是人类会灭绝，这难道不令人伤感吗？如果你希望无论如何还是要留下一些人类，那么，“动物园管理员”的情形可能会是一个更好的选择。在这种情形中，一个无所不能的超级智能把一些人类留在世界上，而这些人类感觉自己就像动物园里的动物一样，偶尔会哀叹自己的命运。
动物园管理员人工智能为什么会想留下一些人类呢？因为对它来说，运营动物园的成本十分微不足道。它留下一小撮人类来生息繁衍，可能就像我们把濒危的大熊猫关进动物园，把古旧的计算机放进博物馆一样：为了娱乐和好奇心。请注意，今天的动物园主要是为了取悦人类，而不是让动物开心。所以，不要期待“动物园管理员”的情形会令人称心满意。
我们现在已经讨论了几种自由的超级智能的情形，它们分别聚焦在马斯洛需求理论中的三个不同层次。守护神人工智能优先满足意义和目的，善意的独裁者人工智能优先满足教育和乐趣，而动物园管理员人工智能只将注意力集中在最低的水平：生理需求、安全和足够的栖息地，好让人类像动物园的动物一样看起来很有趣。
你可以用另一个方法来替代动物园管理员情形：在设计友好的人工智能的程序时，就要求它在迭代的过程中保证10亿人的安全和幸福。但是，为了实现这一点，它可以将人类关在一个大型动物园般的快乐工厂中。在这个工厂里，人类的营养和健康都得到了保障，还用虚拟现实来保持心情愉悦。地球的其余部分和宇宙的禀赋资源则另作他用。
1984
如果你对前文所说的这些情形都不是特别感兴趣，那么请想一想：你是不是认为，从科技的角度出发，今天的一切已经足够好了？为什么我们不能继续保持现状，停止担忧人工智能对人类的消灭或统治呢？本着这种精神，让我们来讨论另一种情形：在这种情形中，可能带来超级智能的技术进步之路被永久斩断，但斩断这条路的并不是守门人人工智能，而是一个由人类主导的奥威尔式的全球性监控国家。在这个国家里，所有人工智能的相关研究都被明令禁止了。
技术废除，新“卢德分子”
阻止科技进步的想法由来已久，历史也甚为曲折。一个著名但并不成功的例子就是英国的“卢德分子”，他们反对工业革命的技术。今天，“卢德分子”这个词常被用作贬义词，形容那些站在历史对立面、反对科技进步和必然变革的技术恐惧者。然而到今天，对科技进步的阻挠从未消失，而是在环保运动和反全球化运动中找到了新的立足点。其中一个最著名的支持者是环保主义者比尔·麦吉本（Bill McKibben）。他是最早向人们警告全球变暖现象的人之一。一些“反卢德分子”认为，所有技术都应该被开发和使用，这样它们才能产生利益；而另一些人则认为，这种观点太极端了，只有当我们相信一项新技术利大于弊时，它才能被允许使用。后一种观点的支持者更多，被称为“新卢德分子”（neouddites）。
极权主义2.0
我认为要广泛地废除技术，唯一可行的方法就是通过一个全球范围的极权主义国家来执行。雷·库兹韦尔在《奇点临近》一书中，以及埃里克·德莱克斯勒（Eric Drexler）在《造物引擎》（Engines of Creation）一书中，都得出了同样的结论。原因很简单：如果一些人（而不是全部）放弃了一种具有变革性的技术，那么，那些没有放弃的国家或集团就会逐渐累积起足够的财富和权力，从而接管和统治世界。
过去，极权主义国家通常被证明是极不稳定的，最后都走向了崩溃。但新型的监控技术为未来的独裁者提供了前所未有的希望。德国汉堡市前国务秘书沃尔夫冈·施密特（Wolfgang Schmidt）最近在接受采访时，回忆起自己曾在斯塔西（臭名昭著的原东德秘密警察组织）担任陆军中校[5]的经历，他谈到了爱德华·斯诺登揭发的美国国家安全局监控系统，并说道：“你知道，这对于我们来说简直无异于梦想成真。”虽然斯塔西常被认为是人类历史上最为严酷的奥威尔式监控体系，但施密特却感叹到，当时的技术只能一次性监控40部电话，如果你想在监控列表上增加一个新名字，就得放弃一个旧的。相比之下，即便只使用现有的技术，一个全球性的极权主义国家也能监控地球上每个人的每次电话、电子邮件、网络搜索、网页浏览和信用卡交易记录，并通过手机定位和配有人脸识别功能的监控摄像头来监控每个人的行踪。此外，即便是远低于人类水平的通用人工智能的机器学习技术，也可以高效地分析和处理这些庞大的数据，从而发现扰乱治安的可疑行为，让那些闹事者在对政府构成严重威胁之前就被处理掉。
今天，尽管政治反对派的存在尚能阻止这种系统的全面实施，但人类却已经在建造这种专制制度所需的基础设施了。因此，如果未来真有一个强大的政治势力决定实施这种全球性的1984式统治，他们会发现，根本无须做太多事情，只需要打开开关就行了，因为技术早已存在。正如乔治·奥威尔的小说《1984》里描述的一样，这个未来的全球性国家的终极力量并不在一个传统的独裁者身上，而在于人为建立的官僚制度本身。不存在一个超级有权势的个人，相反，每个人都像是一颗棋子，任何人都无法改变或挑战游戏规则。通过设计一个人人互相监视的体系，这个不露声色、无单一领袖的国家就能够稳定延续数千年，让地球上再也无法发展出超级智能。
不满之处
当然了，一些只有超级智能才能带来的好处在这个社会中是不可能出现的。这一点并不会引起大多数人的不满，因为他们并不知道自己错过了什么：有关超级智能的整个概念早已从官方历史记录中删除了，人工智能研究被明令禁止。每隔一段时间，自由主义的苗子就会抬头，他们梦想着一个更加开放和充满活力的社会，在这个社会中，知识可以增长，规则可以改变。然而，只有那些把这些想法放在心里、守口如瓶的人才能活下去，于是这些想法就像瞬间即逝的星星之火一样，永远无法燎原。
逆转
如果能够在不陷入极权主义的情况下摆脱技术带来的危险，这个想法是不是很有诱惑力？那么，让我们来探讨一下这个场景——回归到中世纪的技术水平。这个想法是受到了阿米什人的启发。假如，欧米茄团队在第5章接管世界之后，发起了一场大规模的全球宣传运动，将1 500年前的简单农耕生活描述得浪漫异常。接着，一场瘟疫让全球人口减少到大约1亿人，恐怖分子被指责为这场瘟疫的罪魁祸首。这场瘟疫有一个不为人知的秘密——疾病具有针对性，确保对科学技术有所了解的人全部死光。普罗米修斯控制的机器人以消除高密度人群的感染风险为借口，将所有的城市都清空，并夷为平地。幸存者们突然获得了大片土地，并接受了相当于中世纪水平的教育，涉及可持续农业、渔业和狩猎等方面。与此同时，机器人军队系统性地抹去了现代技术的所有痕迹，包括城市、工厂、电力管线和道路等，并挫败了人们试着记录或再现这些技术的所有企图。一旦科技在全球被遗忘，机器人就开始互相拆解，直到几乎一个机器人也不剩下。最后一批机器人与普罗米修斯一起，在一场计划好的热核爆炸中蒸发殆尽。到那时，现代技术不再需要禁止，因为它已经全部消失。结果，人类为自己争取到了1 000多年的时间，在这段时间内，不仅无须担心人工智能，更无须担心极权主义。
历史上，“逆转”现象曾小范围地发生过。比如，罗马帝国普遍使用的一些技术被遗忘了1 000年之后，在文艺复兴时期卷土重来。艾萨克·阿西莫夫的科幻小说《基地》三部曲围绕着“谢顿计划”（Seldon Plan）展开，谢顿计划的目的是将一段长达3万年的“逆转”时期缩短到1 000年。通过巧妙的计划，或许可以起到与谢顿计划相反的效果——延长而不是缩短“逆转”周期，比如通过抹去所有农业知识来实现。然而，对于青睐“逆转”情形的人来说，一个不幸的消息是，这种情形的时间不可能无限地被延长，其结局要么是人类再次获得高科技，要么走向灭绝。认为人类的生物特征在1亿年后还和今天的人类差不多是很幼稚的想法，因为人类作为一个物种存在的时间还不足1亿年的1%呢。而且，低科技水平的人类是不设防的，很容易成为被攻击的目标，只能傻傻地待在地球上坐以待毙，等着被下一颗炽热的小行星撞击等自然灾害所消灭。人类当然不能延续10亿年，因为到那时，太阳会逐渐升温，烤热地球的大气层，直到所有液态水都蒸发殆尽。
自我毁灭
我们已经探讨了未来技术可能带来的问题。但如果缺少这些技术，也会带来一些问题。这些问题很重要，同样值得我们思考。本着这样的精神，现在让我们来讨论一些人类因其他原因毁灭了自我，从而导致超级智能永远无法产生的情形。
我们如何才能走到那一步呢？最简单的策略就是“等待”。我们在第6章将会看到，如何解决小行星撞击和海洋沸腾等问题。目前，我们还没有开发出解决这些问题所需要的技术。所以，除非我们的技术发展到远超现在的水平，否则，用不了10亿年那么久，大自然就会将我们从地球上抹去（如图5-1所示）。正如著名经济学家约翰·凯恩斯（John Maynard Keynes）所说：“长远来看，我们都难逃一死。”
图5-1 地球毁灭的可能情景
注：这些例子是可能毁灭已知的生命形态或永久剥夺其发展潜力的情形。尽管我们的宇宙本身可能还能延续至少100亿年的时间，但我们的太阳将在10亿年后将地球烤焦，然后将其吞噬，除非我们把地球搬运到一个安全的距离。35亿年后，银河系会与相邻的仙女座星系相碰撞。虽然我们并不知道它们相撞的具体时间，但我们可以预言，早在这场碰撞发生之前，就会发生小行星撞击地球，或者超级火山爆发引发经年累月的“火山冬天”。我们既可以用技术来解决所有这些问题，也可以用技术创造出新的问题，比如气候变化、核战争、改造瘟疫或出错的人工智能。
