然而沙纳汉也承认，如果一个理论声称你可以无意识地展现出有意识的行为，那它就可以解决上一段所说的那个“逐步替换”的批评。因此，你可能会总结说“拥有意识”和“展现出有意识的行为”是同一回事，所以，只有外部可观察到的行为才是重要的。然而，这种想法可能会让你落入一个陷阱，可能会做出“人做梦时没有意识”的预测，但你知道这不是真的。
信息整合理论的第三个争议是，一个有意识的实体是否可以由各自拥有独立意识的部分组成。譬如说，社会能否在人们不失去自己意识的情况下获得意识？一个有意识的大脑是否可以包含一些拥有独立意识的组成部分？对这些问题，信息整合理论的回答是坚定的“不”，但不是所有人都对此心服口服。比如，一些因病变而导致左右半脑交流程度极度降低的病人会产生“异手症”（alien hand syndrome）。例如，他们的右脑会让左手做一些事情，但病人声称这不是自己做的，或者自己不理解这是怎么做到的。有时候，这种症状会严重到他们会用另一只手来约束他们的“异手”。我们如何确定他们的大脑中没有两个不同的意识，一个在左半脑，一个在右半脑，左半脑的意识不能说话，而右半脑的意识正在说话并声称自己代表两个半脑？想象一下，假如未来有一种技术可以将两个人的大脑直接连接起来，并逐步增强二者之间的交流，使脑间交流的效率提升到脑内交流那样高效。会不会有一个时刻，两个人的独立意识突然消失，取而代之的是信息整合理论预测的单一而统一的意识？又或者，这个过渡会不会是渐进的，使得两个独立的意识在一段时间里以某种形式共同存在，甚至出现共享体验的现象？
还有一个迷人的问题是，实验是否低估了我们能意识到的东西？我们在前面已经看到，虽然我们觉得我们在视觉上能意识到大量的信息，包括色彩、形状、物体以及我们面前的万事万物，但实验表明，我们能记住和讲出来的比例小之又小[26]。一些研究者试图解释这个矛盾。他们认为有时候我们可能会对某些东西“产生意识但是无法读取”，也就是说，虽然我们对某些东西拥有主观体验，但它们太过复杂，以至于无法容纳入我们的工作记忆以备后来使用。[27]比如，当你经历“无意视盲”（inattentional blindness）现象时，会由于分心而注意不到摆在你眼前的东西，但这并不意味着你对该物体缺乏有意识的视觉体验，只是说它没有被存储入你的工作记忆中。这是否应该算作“遗忘”而不是“视盲”呢？有些人认为，我们不应该相信人们嘴上说出来的体验，但还有一些研究人员拒绝接受这种观点，并警告其可能带来的引申含义。比如，默里·沙纳汉认为，我们可以假想在一个临床试验中，病人报告说一种神奇新药完全缓解了他们的疼痛，但政府却拒绝接受并声称：“病人只是觉得他们不疼了而已。多亏了神经科学，我们才不会上当。”然而，还有一种相反的假想情况是，当一些病人在手术过程中意外醒来，医生只好让他们服药，好让他们忘记这段痛苦的经历。如果这些病人在事后声称自己没有在手术中经历痛苦，我们是否应该相信他们？[28]
人工智能的意识是什么感觉
如果在未来，某个人工智能系统产生了意识，那它在主观上会体验到什么呢？这是“更难的问题”的核心，迫使我们来到了图8-1中描绘的第二层。目前，我们不仅缺乏回答这个问题的理论，而且我们不确定它有没有合乎逻辑的答案。毕竟，我们甚至不知道令人满意的答案应该是什么样。你要如何向一个天生的盲人解释红色是什么样子的呢？
幸运的是，尽管我们目前无法给出完整的答案，但我们可以给出答案的一部分。一个研究人类感官系统的智能外星人可能会推断出：色彩就是一种与二维表面（我们的视野）上每个点的感觉相关联的感质；声音感觉起来不局限在空间的某个局部区域；疼痛是一种与身体不同部位的感觉相关联的感质。如果它们发现我们的视网膜有三种光敏视锥细胞，就可以推断我们能体验到三原色，并且，其他所有颜色的感质都是它们三者组合而成。通过测量神经元在大脑中传递信息所需的时间，它们可以总结说，人类每秒只会经历大约10次有意识的想法或知觉，并且，当人类在电视上观看每秒24帧的电影时，人类意识不到这只是一系列静止的图像，而是将其感知为连续的动作。通过测量肾上腺素释放到血液中的速度以及分解所需的时间，它们能够预测我们会在几秒钟后感受到愤怒的爆发，以及这个愤怒会持续几分钟。
运用类似物理学的论点，我们可以对“人工智能意识有何感觉”这一问题的某些方面进行一些有理有据的猜测。首先，与我们人类的体验相比，人工智能的体验空间可能是巨大的。我们的每一种感觉器官对应着一种感质，但人工智能的传感器和信息内部表征的种类可能多得多，所以，我们必须避免假设“做人工智能的感觉和做人的感觉差不多”。
其次，一个人脑大小的人工智能的意识主体每秒拥有的体验可能比我们人类多几百万倍，因为电磁信号以光速传播，比神经元信号快数百万倍。然而，正如我们在第4章看到的那样，人工智能的尺寸越大，它产生全局思维的速度就越慢，因为信息在各部分之间流动的时间更长。因此我们预计，一个地球大小的“盖亚”人工智能每秒钟大约只能产生10个意识体验，和人类差不多；而一个星系大小的人工智能每10万年才能产生一个全局思维。所以，就算我们的宇宙拥有了意识，到目前为止，它所产生的体验也不会超过100个！这会促使大型人工智能将计算过程委派给尽可能小的子系统，以加快速度，就像我们的意识智能系统将眨眼反射委派给一个小而快的无意识子系统一样。虽然我们前面已经看到人脑中有意识的信息处理过程似乎只是一个巨大的无意识的冰山的一角，但我们有理由相信，对未来的人工智能来说，情况可能会更加极端：如果它拥有一个单一的意识，那其中发生的绝大部分信息处理过程可能都是无意识的。此外，虽然它的意识体验可能非常复杂，但与其内部较小部分的快速活动相比，它们就像蜗牛一样慢。
这使得前面提到的一个争议变得更加尖锐了，这个争议就是：意识实体的组成部分是否也可以拥有独立的意识？信息整合理论的预测是“不可以”。这意味着，如果未来一个巨大的人工智能拥有了意识，那么，它的几乎所有信息处理过程都是无意识的。这也意味着，如果一个由较小人工智能组成的文明突然提升了其交流能力，从而涌现出了一个有意识的蜂群智能（hive mind），那么，那些速度更快的个体意识就会突然消失。然而，如果信息整合理论的预测是错误的，那么，蜂群心智就可以与那些较小的意识心智共存。的确，你甚至可以想象，意识可能组成了一个嵌套式的层级结构，从微观尺度一直嵌套到宏观的宇宙尺度。
正如我们前面所看到的那样，我们人脑中的无意识信息处理过程似乎与心理学家所谓的“系统1”有关，也就是不费力气、快速自动的思维方式。[29]比如，你的系统1可能会告诉你的意识，经过它对视觉输入数据进行高度复杂的分析后，确定你的好朋友已经来到了你的面前，但它不会告诉你这个计算是如何进行的。如果事实证明系统与意识之间的这种联系是有效的，那我们会忍不住将这个术语推广到人工智能，给人工智能也定义一个系统1，也就是所有委派给无意识子单元的快速程式化任务。而那些需要花费力气、缓慢且受控的全局思考过程（如果有意识的话），就可以称为人工智能的系统2。我们人类还拥有一种意识体验，我称为“系统0”，那就是原始而被动的感知，也就是当我们坐着不动或什么也不想，只是静静观察周遭世界时体验到的感觉。系统0、系统1和系统2的复杂程度似乎一个比一个高，但令人惊讶的是，系统0和系统2似乎都有意识，而只有中间的系统1是无意识的。对此，信息整合理论解释说，系统0中的原始感官信息存储在信息整合度非常高的网格状大脑结构中；系统2的整合度也很高，因为它拥有反馈回路，在其中，你某一时刻意识到的所有信息都能影响你未来的大脑状态。然而，正是这种“意识网格”的预测引发了前面提到的斯科特·阿伦森对信息整合理论的批评。总而言之，如果一个理论能解决“相当难的问题”，而它又能通过严格的实验验证，从而使我们开始认真对待它的预测，那么，它也将大大缩小“未来有意识的人工智能可能体验到什么”这一“更难的问题”的选项范围。
我们主观体验的某些方面显然可以追溯到人类的进化，例如与自我保护和繁殖有关的情绪欲望，比如吃东西、喝水、避免被杀等。这意味着创造一个无法体会饥饿、口渴、恐惧和性欲这些感质的人工智能应该是可能的。正如我们在第7章看到的那样，如果一个高度智能的人工智能被设计出来并拥有一个野心勃勃的目标，不管这个目标是什么，那它就可能产生自我保护的行为，以便能够实现它的目标。但是，如果它们是人工智能社会的一部分，那它们在面对死亡时可能会缺乏人类那样强烈的恐惧，因为它们只需将自己备份一下。那么，即使它被消灭，失去的东西也并不多，最多是最近一次备份点到现在为止累积的记忆而已。此外，人工智能之间可以随意复制信息和软件，这可能会削弱个性，而个性正是人类意识的特色，如果我与你事无巨细地共享着记忆和能力，那你和我之间还有什么差别呢？所以，一群相距不远的人工智能可能会感觉它们是同一个生物，拥有同一个蜂群智能。
人造的意识会觉得自己拥有自由意志吗？哲学家花了几千年的时间来讨论人类是否拥有自由意志，却没有达成丝毫共识。[30]但值得注意的是，我在这里提出的却是一个更容易解决的不同问题。请让我试着说服你。这个问题的答案很简单，那就是：“是的，任何有意识的决策者，无论是生物还是人造物，都会在主观上感觉自己是拥有自由意志的。”所谓的决策落在下面两个极端之间：
◦ 你完全知晓自己为什么做出了某个决策；
◦ 你完全不知道自己为什么做出了某个决策，就感觉好像是你心血来潮做出的随机决定一样。
自由意志的讨论通常围绕着如何把目标导向的决策行为与物理定律统一起来。也就是说，“我约她出来是因为我真的很喜欢她”和“我的粒子服从物理定律运动”这两个解释哪一个才是正确的？但根据我们在第7章的讨论，两者都是正确的：目标导向行为可以从无目标的确定性物理定律中涌现出来。更具体地说，当一个系统（大脑或人工智能）做出上述第一种类型的决定时，它是用某种确定性的算法来计算出决定；而它之所以感觉是自己做出了决定，是因为在计算要做什么时，它确实做出了决定。此外，正如赛斯·劳埃德所强调的那样[31]，在计算机科学中有一个这样著名的定理：要确定某个计算过程的结果，最快的方法就是实际执行一下这个计算，除此之外没有更快的方法了。这意味着，你想在短于1秒的时间内想出你1秒后会做出什么决定，通常是不可能的事情。这个事实有助于强化你认为自己拥有自由意志的感觉。相反，当一个系统（大脑或人工智能）做出上述第二种类型的决定时，它只是根据某种类似随机数发生器的子系统来做出决定。大脑和计算机都很容易通过放大噪声的方法来产生随机数。因此，无论所做的决策落在第一种和第二种之间的何处，无论是生物意识还是人造意识都会感觉自己是拥有自由意志的，因为它们都感觉是自己做出了决定，并且，在它们彻底思考完成之前，没有谁能百分之分预测到，它们要做出什么决定。
有些人告诉我，他们觉得因果关系贬低了人的地位，使人类的思维过程毫无意义，感觉自己“只是机器而已”。我觉得这种消极的看法是荒谬和不必要的。首先，我认为人类大脑是我们已知的宇宙中最令人叹为观止、最精巧复杂的物理实体，所以，说人脑“只是机器而已”是不恰当的。其次，他们还想要什么选择呢？难道他们不想让自己的思维过程（由大脑进行的计算）来做出他们自己的决定吗？他们对自由意志的主观体验就是他们的计算过程从内部所体会到的感觉：在计算完成之前，没人知道计算的结果。这就是“计算即决策”的含义。
意义
在结束之际，让我们回到这本书的起点：我们希望生命有一个怎样的未来？我们在前一章看到，全球各地的不同文化都希望未来是充满积极体验的，但是，到底什么体验算是积极的？如何在不同的生命形式之间进行权衡？这些问题引发了各抒己见的争议。但是，我们不要被争议蒙蔽了双眼，忽视了房间里的大象：如果连体验都没有（也就是说没有意识），那积极的体验也就不复存在。换句话说，如果没有意识，就不存在快乐、善良、美丽、意义和目标，是巨大的浪费。这意味着当人们追问生命的意义，仿佛宇宙的职责就是为我们的存在赋予意义时，其实他们本末倒置了：并不是我们的宇宙将意义赋予了有意识的实体，而是有意识的实体将意义赋予了我们的宇宙。因此，我们对未来的首要希望应该是在我们的宇宙中保存并尽量扩大生物意识或人造意识，而不是将它赶尽杀绝。
如果我们在这件事上成功了，那么，与更聪明的机器共存会让我们人类产生什么样的感觉呢？人工智能势不可挡的崛起会不会让你感到困扰？如果会，为什么？在第3章，我们看到只要政策允许，人工智能驱动的技术应该很容易满足我们的基本需求，例如安全和基本收入。但是，你依然可能会担心，锦衣玉食、安居乐业、歌舞升平的日子是美中不足的。如果我们相信，人工智能一定能照顾好我们的基本需求和欲望，我们会不会多多少少觉得这样的生活就像动物园里的动物一样，缺乏意义和目标？
很长时间以来，人类通常把自我价值建立在“人类例外主义”（human exceptionalism）之上。人类例外主义就是说，人类是地球上最聪明的存在，因此是独特和优越的。人工智能的崛起将迫使我们放弃这种想法，变得更加谦虚。但是，即使没有人工智能，我们或许也会走上这条路，毕竟，固守傲慢的自命不凡，认为自己比其他存在（比如其他人、其他族群、其他物种）更优越，这种想法在过去曾招致了可怕的问题，理应退出历史舞台。确实，人类例外主义在过去酿成了悲剧，对人类未来的繁荣似乎也是不必要的。如果我们发现了一个和平的外星文明，它在科学和艺术等我们关心的一切事物上都比我们要先进得多，这可能并不会妨碍人们继续体验生活中的意义和目标。我们可以保留家人、朋友和广泛的社区，以及一切为我们带来意义和目标的活动。我希望到那时，弃我们而去的只有我们的傲慢。
在规划未来时，我们不仅要考虑自己生命的意义，还要考虑宇宙本身的意义。在这一点上，我最喜欢的两位物理学家史蒂文·温伯格（Steven Weinberg）和弗里曼·戴森表达了截然相反的观点。温伯格因在粒子物理学标准模型上的奠基性工作而获得诺贝尔物理学奖。他有一句著名的话[32]：“我们对宇宙理解得越多，它就越显得毫无意义。”然而，正如我们在第6章中看到的那样，戴森的观点要乐观得多，虽然他也认同我们的宇宙是毫无意义的，但他相信生命正在让宇宙充满越来越多的意义；如果生命的种子成功地散播到整个宇宙，那未来一定是光明的。在1979年那篇重要论文的结尾，他说[33]：“到底是温伯格的还是我的宇宙观更接近真相？过不了多久，我们就会知道答案了。”如果我们让地球生命走向灭绝，或让无意识的僵尸人工智能控制了宇宙，从而让宇宙回到永无止境的无意识状态，那毫无疑问，温伯格就大获全胜。
从这个角度来看，虽然我们在这本书中将注意力放在智能的未来上，但实际上，意识的未来更为重要，因为意识才是意义之所在。哲学家喜欢用拉丁语来区分智慧（“sapience”，用智能的方式思考问题的能力）与意识（“sentience”，主观上体验到感质的能力）。我们人类身为智人（Homo Sapiens），乃是周遭最聪明的存在。当我们做好准备，谦卑地迎接更加智慧的机器时，我建议咱们给自己起个新名字——意人（Homo sentiens）！
本章要点
◦ 关于“意识”，目前还没有无可争辩的定义。我使用的定义十分宽泛，并且不以人类为中心。我认为：意识＝主观体验。
◦ 人工智能是否拥有意识？这个问题归根结底是一些因人工智能崛起而引发的最棘手的伦理和哲学问题：人工智能能否感觉到痛苦？它们是否应该拥有权利？上传思想算不算主观上的自杀？如果未来的宇宙充满了人工智能，算不算终极的僵尸末日？
◦ 要理解智能，就必须回答三个关于意识的问题：“相当难的问题”“更难的问题”和“真难的问题”。第一个问题是预测哪些物理系统拥有意识；第二个问题是预测感质；第三个问题是物质为什么会产生意识。
◦ “相当难的问题”是科学的，因为它可以预测哪些大脑过程拥有意识，而这样的理论是可以用实验来证实和证伪的。但我们目前尚不清楚科学要如何解决那两个更难一些的问题。
◦ 神经科学实验告诉我们，许多行为和脑区都是无意识的，大部分意识体验都是对大量无意识信息做出的“事后总结”。
◦ 将意识的预测从大脑推广到机器，需要一个理论。意识似乎不需要某种粒子或场，但需要某种具备自主性和整合性的信息处理过程，这样，整个系统才能拥有足够高的独立性，而它的组成部分却没有独立性。
◦ 意识感觉起来是“非物质”的，因为它具有双重的物质层面的独立性：如果意识是信息以某种复杂的方式处理的感觉，那么，只有信息处理的结构才是重要的，而处理信息的物质自身的结构则无足轻重。
◦ 如果人造意识是可能的，那么，与人类的体验比起来，人工智能的体验空间可能非常庞大，在感质和时间尺度上跨越极大的范围，但都能体会到自由意志的感觉。
◦ 由于没有意识就没有意义，因此，并不是我们的宇宙将意义赋予了有意识的实体，而是有意识的实体将意义赋予了我们的宇宙。
◦ 这意味着，当我们做好准备，谦卑地迎接更加智慧的机器时，我们可以从“意人”这个新名字（而不再是“智人”）中获得些许慰藉。
在探索了智能、目标和意义的起源与命运之后，我亲爱的读者，我们终于走到了这本书的最后篇章。那么，我们应该如何将这些思想转化为行动呢？做哪些具体的事情，才能创造出一个最好的未来？这正是我此时此刻扪心自问的问题。此时是2017年1月9日，我们刚刚在阿西洛马组织了一场关于人工智能的会议，而我正坐在从旧金山返回波士顿的飞机舷窗前。请允许我在本书的结尾向你分享一些自己的想法。
我的妻子梅亚正坐在我身边小睡，她为准备和组织这场会议度过了若干个不眠之夜。这是多么疯狂的一周！我们设法将本书中提到的几乎所有人都聚集在一起，参加我在书里提到过的波多黎各之后的后续会议。这些人包括埃隆·马斯克和拉里·佩奇这样的企业家，来自学术界和DeepMind、苹果、IBM、微软和百度这类公司的人工智能研究领袖，还包括经济学家、法律学者、哲学家和其他了不起的思想家（见图9-1）。这场会议的结果超出了我的最高预期。现在，我对生命的未来感到了长时间以来最高程度的乐观。让我在这篇后记中告诉你原因。
呱呱坠地
从我14岁知道核军备竞赛以来，就一直担心我们的技术力量比我们控制它的智慧增长得更快。因此，我决定在我的第一本书《穿越平行宇宙》中用一章的篇幅来讨论这个问题，尽管这本书主要是讲物理学。2014年伊始，我做了一个新年决定——在认真思考我个人能做些什么之前，我不再抱怨任何事情。在那一个月的新书巡回之旅中，我信守诺言，决定成立一家非营利性组织，专注于用技术管理来改善未来生命的境况。
为此，梅亚和我一起做了很多头脑风暴，她坚持说，我们应该起一个积极一些的名字，最好别是什么“厄运与绝望研究所”“让我们担心未来吧研究所”之类的。由于“人类未来研究所”这个名字已经存在了，我们决定使用包罗万象的“未来生命研究所”。2014年1月22日，新书巡回来到了圣克鲁兹。当加州的夕阳在太平洋上徐徐落下时，我们和老朋友安东尼·阿奎尔共进晚餐，并说服他加入我们的队伍。他是我认识的最有智慧和最理想主义的人之一。十几年以来，他和我一起运营着另外一家非营利性组织（见网站http://fqxi.org）。
接下来的一个星期，我跟着新书巡回来到了伦敦。由于心中总是记挂着人工智能的未来，我找到了DeepMind公司联合创始人丹米斯·哈萨比斯。他慷慨地邀请我参观DeepMind的总部。自两年前的麻省理工学院一叙之后，他们取得的惊人成果，这让我很惊讶。谷歌以6.5亿美元的价格买下了他们的DeepMind公司。哈萨比斯宽敞的办公室里坐满了才气横溢的头脑，他们都追逐着哈萨比斯大胆的目标——解决智能问题，这让我打心眼里相信，成功是可能的。
图9-1 参加阿西洛马会议的全体人员
注：2017年1月，我们在阿西洛马举行的会议是波多黎各会议的后续会议，本次会议将人工智能及其相关领域的许多研究者聚集在一起。这帮人真的很了不起。后排从左往右分别是：帕特里克·林（Patrick Lin）、丹尼尔·韦尔德（Daniel Weld）、阿里尔·康恩（Ariel Conn）、南希·钱、汤姆·米切尔、雷·库兹韦尔、丹尼尔·杜威、玛格丽特·博登、彼得·诺维格（Peter Norvig）、尼克·海（Nick Hay）、莫舍·瓦尔迪（Moshe Vardi）、斯科特·西斯金德（Scott Siskind）、尼克·波斯特洛姆、弗朗西斯卡·罗西、谢恩·列格、曼纽拉·维罗索（Manuela Veloso）、戴维·马布尔（David Marble）、卡特娅·格蕾丝、伊拉克利·贝里泽（Irakli Beridze）、马蒂·特南鲍姆（Marty Tenenbaum）、吉尔·普拉特（Gill Pratt）、马丁·里斯（Martin Rees）、约舒亚·格林、马特·谢勒（Matt Scherer）、安杰拉·凯恩（Angela Kane）、阿玛拉·安杰莉卡（Amara Angelica）、杰夫·莫尔（Jeff Mohr）、穆斯塔法·苏莱曼、史蒂夫·奥莫亨德罗（Steve Omohundro）、凯特·克劳福德（Kate Crawford）、维塔利克·布特林（Vitalik Buterin）、松尾丰（Yutaka Matsuo）、斯特凡诺·俄曼（Stefano Ermon）、迈克尔·韦尔曼（Michael Wellman）、巴斯·斯托纳布林克（Bas Steunebrink）、文德尔·华莱士、艾伦·达福（Allan Dafoe）、托比·奥德、托马斯·迪特里奇、丹尼尔·卡尼曼（Daniel Kahneman）、达里奥·阿莫德伊（Dario Amodei）、埃里克·德雷克斯勒（Eric Drexler）、托马索·波吉奥、埃里克·施密特（Eric Schmidt）、佩德罗·奥尔特加（Pedro Ortega）、戴维·利克（David Leake）、肖恩·奥黑格尔忒、欧文·埃文斯、扬·塔里安、安卡·德拉甘（Anca Dragan）、肖恩·勒加斯克（Sean Legassick）、托比·沃尔什（Toby Walsh）、彼得·阿萨罗（Peter Asaro）、凯·弗思·巴特菲尔德（Kay Firth·Butterfield）、菲利普·萨贝斯（Philip Sabes）、保罗·梅洛拉（Paul Merolla）、巴尔特·塞尔曼、图克·戴维（Tucker Davey）、雅各布·斯坦哈特、摩西·卢克斯（Moshe Looks）、乔西·特南鲍姆、汤姆·格鲁伯（Tom Gruber）、吴恩达、卡里姆·阿尤布（Kareem Ayoub）、克雷格·卡尔霍恩（Craig Calhoun）、珀西·梁（Percy Liang）、海伦·特纳（Helen Toner）、大卫·查尔默斯、理查德·萨顿、克劳迪娅·帕索斯·费里拉（Claudia Passos·Ferriera）、雅诺什·克拉玛（János Krámar）、威廉·麦卡斯基尔（William MacAskill）、埃利泽·尤德考斯基、布赖恩·齐巴特（Brian Ziebart）、休·普莱斯、卡尔·舒尔曼（Carl Shulman）、尼尔·劳伦斯（Neil Lawrence）、理查德·马拉（Richard Mallah）、尤尔根·施米德胡贝（Jürgen Schmidhuber）、迪利普·乔治、乔纳森·罗思伯格（Jonathan Rothberg）、诺亚·罗思伯格（Noah Rothberg）；前排依次是：安东尼·阿奎尔、索尼娅·萨克斯（Sonia Sachs）、卢卡斯·佩里（Lucas Perry）、乔弗里·萨克斯（Jeffrey Sachs）、文森特·科尼泽（Vincent Conitzer）、史蒂夫·古斯（Steve Goose）、维多利亚·克拉科芙娜、欧文·科顿·巴勒特（Owen Cotton·Barratt）、丹妮拉·鲁斯（Daniela Rus）、迪伦·哈德菲尔德·梅内尔（Dylan Hadfield·Menell）、维里蒂·哈丁（Verity Harding）、希冯·齐利斯（Shivon Zilis）、劳伦特·奥索（Laurent Orseau）、拉玛纳·库马尔（Ramana Kumar）、纳特·索尔斯、安德鲁·麦卡菲、杰克·克拉克、安娜·萨拉蒙（Anna Salamon）、欧阳隆（Long Ouyang）、安德鲁·克里奇（Andrew Critch）、保罗·克里斯蒂亚诺（Paul Christiano）、约舒亚·本吉奥、戴维·桑福德（David Sanford）、凯瑟琳·奥尔森（Catherine Olsson）、杰西卡·泰勒（Jessica Taylor）、玛蒂娜·孔茨（Martina Kunz）、克里斯汀·索里森（Kristinn Thorisson）、斯图尔特·阿姆斯特朗、扬·勒丘恩（Yann LeCun）、亚历山大·塔马斯（Alexander Tamas）、罗曼·亚姆波尔斯基（Roman Yampolskiy）、马林·索里亚彻克（Marin Soljačić）、劳伦斯·克劳斯（Lawrence Krauss）、斯图尔特·罗素、埃里克·布莱恩约弗森、瑞安·卡洛、薛晓岚（ShaoLan Hsueh）、梅亚·奇塔·泰格马克、肯特·沃克、希瑟·罗夫、梅雷迪思·惠特克（Meredith Whittaker）、迈克斯·泰格马克、阿德里安·韦勒、乔斯·埃尔南德斯·奥拉罗（Jose Hernandez·Orallo）、安德鲁·梅纳德（Andrew Maynard）、约翰·赫林（John Hering）、艾布拉姆·德姆斯基（Abram Demski）、尼古拉斯·伯格鲁恩（Nicolas Berggruen）、格雷戈里·邦尼特（Gregory Bonnet）、山姆·哈里斯、蒂姆·黄（Tim Hwang）、安德鲁·斯奈德·贝蒂（Andrew Snyder·Beattie）、玛尔塔·哈利娜（Marta Halina）、塞巴斯蒂安·法夸尔（Sebastian Farquhar）、斯蒂芬·凯夫（Stephen Cave）、简·莱克（Jan Leike）、塔莎·麦考利（Tasha McCauley）、约瑟夫·戈登·莱维特（Joseph Gordon·Levitt）；后来抵达的人有：古鲁达斯·巴纳瓦尔（Guruduth Banavar）、丹米斯·哈萨比斯、拉奥·卡姆巴哈帕蒂（Rao Kambhampati）、埃隆·马斯克、拉里·佩奇、安东尼·罗梅罗（Anthony Romero）。
第二天晚上，我和朋友扬·塔里安在Skype上通了一次话——这个软件的创造中有他的一份力量。我向他解释了未来生命研究所的愿景。一小时之后，塔里安决定每年给我们捐赠10万美元的经费。没有什么比获得超过我应得的信任更让我感动的了。一年之后，在我第1章中提到过的波多黎各会议上，他开玩笑说，这是他做过的最好的一笔投资。这对我来说简直意味着整个世界。
第二天，我的出版商给我留出了一点自由时间，于是我拜访了位于伦敦南肯辛顿区的英国科学博物馆。在长时间沉迷于智能的过去与未来之后，突然觉得我正行走在自己思维的物质体现中。这家博物馆组织了一场代表人类知识增长的精彩展览，从史蒂文森的“火箭号”机车到福特T型车、真实大小的“阿波罗11号”月球车复制品，还有各式各样的计算机，最早从巴贝奇设计的差分机一直到现代的计算机硬件。这家博物馆还有一个展览，是关于智能的历史的，从意大利物理学家路易吉·加尔瓦尼（Luigi Galvani）的青蛙腿实验到神经元、脑电图和功能性磁共振成像。
我这个人平常很少哭，但在走出博物馆时，我哭了，就在熙熙攘攘的隧道里。人们步履匆匆，前往南肯辛顿地铁站。这些人过着幸福的生活，完全不知道我脑中在想什么。此时回旋在我脑海中的是，首先，人类发现了如何用机器来复制一些自然过程，由此创造出了人造的风、闪电和机械马力。慢慢地，人类开始意识到自己的身体也是机器。接着就发现了神经细胞，这个发现模糊了身体与心智的界限。然后，人类开始建造比我们的肌肉更加强壮、比我们的大脑更加聪明的机器。那么，在发现自我的同时，我们是否也不可避免地淘汰了自己？如果是的话，那简直太悲剧了。
这个想法让我感到害怕，但也增强了我践行新年决定的决心。我觉得，未来生命研究所创始团队还需要一个能带领一群理想主义的年轻志愿者的人物才算完整。最合乎逻辑的选择就是哈佛大学杰出学生维多利亚·克拉科芙娜（Viktoriya Krakovna）。她不仅赢得了国际奥数竞赛银奖，而且还创办了Citadel。Citadel是一所房子，供十几个想要在人生和世界中扮演更大角色的理想主义年轻人使用。梅亚和我邀请她5天后到我家吃饭（如图9-2所示），并告诉她我们的愿景。那一天，我们桌上的寿司还没吃完，未来生命研究所就诞生了。
图9-2 未来生命研究所诞生之日
注：2014年5月23日，扬·塔里安、安东尼·阿奎尔、我自己、梅亚·赤塔-泰格马克和维多利亚·克拉科芙娜在我家吃寿司，以庆祝未来生命研究所的成立。
波多黎各的冒险
波多黎各会议标志着一段精彩冒险的开始。正如我在第1章中提到的那样，我们经常在我家举行头脑风暴般的会议，与数十名理想主义的学生、教授和其他本地思想家一起，把评价最高的想法转化为实际的项目。第一个项目就是第1章中提到的与史蒂芬·霍金、斯图尔特·罗素、弗兰克·韦尔切克共同撰写的专题文章，旨在引发公众讨论。在建设未来生命研究所这个新组织（比如整合和招募顾问委员会以及发布网站）的同时，我们在麻省理工学院的礼堂前举行了一个有趣的发布会。在那里，艾伦·艾尔达（Alan Alda）等顶级专家探讨了技术的未来。
我们把那一年剩下的时间都用来组织波多黎各会议上。正如我在第1章中提到的那样，这个会议的目的是让世界顶级人工智能研究者参与到“如何保证人工智能对人类有益”的讨论中来。我们的目标是把人们对人工智能安全性的担忧转化为实际行动：从争论我们应不应该担心，到同意开展一些具体的研究项目，以获得尽可能好的结果。为了做好充分准备，我们收集了来自世界各地的关于人工智能安全性研究的点子，并邀请学术界对我们不断扩大的项目名单提出反馈和意见。在斯图尔特·罗素和一群勤劳的年轻志愿者，特别是丹尼尔·杜威、亚诺思·克拉马尔和理查德·马拉的帮助下，我们从这些研究项目中提炼出了一个文件，供大会讨论[1]。我们希望让人们意识到值得做的人工智能安全性研究有很多，并鼓励人们实际开展这些研究。我们的最终目标是，说服某些人来资助这些项目，因为到目前为止，政府在这方面几乎没有任何投入。
这时，埃隆·马斯克闪亮登场了。2014年8月2日，他进入了我们的搜寻雷达，因为他发布了一条著名的推特：“尼克·波斯特洛姆的《超级智能》值得一读。我们需要对人工智能保持谨慎。它们可能比核武器还要危险。”于是，我联系上了他，并向他介绍了我们的愿景。几个星期后，我和他通了一次电话。虽然当时我就像见到大明星一样感到非常紧张，但成果是毋庸置疑的：他同意加入未来生命研究所的科学顾问委员会，出席我们的会议，并可能资助即将在波多黎各会议上宣布的第一个人工智能安全性研究项目。这给我们的未来生命研究所团队打了一剂强心针，让我们更有动力加倍努力地组织一场精彩的会议，确定有前景的研究课题，并为其收集来自学术界的支持。
两个月后，马斯克来到麻省理工学院参加空间研讨会时，我终于有机会与他见面，商讨进一步的规划。当时，他就像摇滚明星一样，被1 000多名麻省理工学院的学生簇拥着；而片刻之后，我和他单独待在一间绿色的小房间里，这感觉十分奇特。但是几分钟后，我满脑子就只剩下我们的合作项目。我很快对他产生了好感。他浑身散发着真诚的态度，十分关心人类的长期未来，并大胆地将自己的愿望变为行动，这让我深受启发。马斯克希望人类能够探索宇宙，并在其中安居乐业，所以他创办了太空探索技术公司（SpaceX）；他想要可持续发展的能源，所以创办了一家太阳能公司和一家电动汽车公司。马斯克身材高大、英俊潇洒、知识渊博，很容易理解为什么人们愿意倾听他的见解。
不幸的是，这次麻省理工学院的活动也让我意识到媒体是可以多么的危言耸听、哗众取宠和四分五裂。马斯克在台上讲了一个小时关于太空探索的迷人话题，我认为这完全可以编辑成一档精彩的电视节目。最后，一个学生问了他一个关于人工智能的问题——这个问题其实与当天的话题无关。马斯克在回答中讲了“开发人工智能可能会召唤出恶魔”这么一句话，结果这成为当天大多数媒体报道的唯一事情。他们断章取义，揪着这句话不放。令我感到震惊的是，许多记者的报道与我们想在波多黎各完成的宗旨背道而驰，我们想通过强调共同点来构建社区共识，而媒体却想强调个中分歧。他们报道的争议越多，他们的尼尔森收视率和广告收入就越高。而且，我们希望让各界人士聚在一起，增进理解，而媒体报道却有意无意地引用了许多断章取义的话，加剧了人们对持异议者的不满，造成了误解。出于这个原因，我们禁止记者参加波多黎各会议，并实施“查塔姆大厦规则”（Chatham House Rule），也就是禁止与会者向外界透露会上谁说了什么(77)。
虽然我们的波多黎各会议最终取得了成功，但成功来之不易。在最后一段时间里，我们做了大量辛勤的准备工作。比如，我必须打电话或用Skype联系大量的人工智能研究者，好组成一个重量级的参会团队，才能吸引来更多参与者。还有一些戏剧性的时刻，比如，2014年12月27日上午7点，我接到埃隆·马斯克从乌拉圭打来的电话。这个电话的通话质量十分糟糕。他说：“我认为这行不通。”他担心人工智能安全性研究计划可能会给人们带来错误的安全感，让那些不计后果的研究者误以为只需动动嘴皮子、聊聊人工智能的安全性就万事大吉了。虽然通话质量不断变糟，但我们还是充分讨论了将该话题纳入主流视野、促使更多人工智能研究者从事人工智能安全性工作的好处。通话结束后，马斯克给我发来了一封电子邮件，堪称我这辈子最爱的邮件之一：“刚才没信号了。无论如何，文档看起来不错。我很愿意在3年内为这个研究资助500万美元。或许，1 000万美元？”
4天后，2015年为我和梅亚开了一个好头——我们在会议前来了一次短暂的放松，在波多黎各的海滩上跳舞，看烟花照亮天空。会议也取得了一个良好的开端：人们普遍认为，需要开展更多的人工智能安全性研究。基于与会者的进一步讨论，我们之前精炼的研究重点文件得到了完善和落实。我们传阅了第1章中提到的人工智能安全性研究公开信，很高兴几乎每个人都签了字。
我和梅亚在酒店的房间里与埃隆·马斯克进行了一次神奇的会谈。他称赞了我们对资助项目的详细计划。梅亚感动于马斯克朴实坦率的个人生活以及他对我们的极大兴趣。他问我们是如何认识的，他很喜欢梅亚讲述的详细故事。第二天，我们为他拍摄了一个关于人工智能安全性问题以及他为什么支持人工智能安全性研究的采访视频[2]。一切似乎都走上了正轨。
会议的高潮是马斯克发布捐款声明，计划于2015年1月4日晚上7点举行。那是一个星期天。我感到非常紧张，以至于前一天晚上几乎睡不着觉。然而，在我们出发前往会议的15分钟之前遇到了麻烦！马斯克的助理打电话来说，他可能无法参加这个活动。梅亚说，她从没见过我如此紧张和失望。好在，就在活动开始的几秒前，马斯克终于赶来了。他解释说，两天后SpaceX要进行一次重要的火箭发射，他们希望让第一级火箭着陆在一艘遥控船上。如果成功，这将是人类有史以来的第一次。由于这将是一个重大的里程碑，SpaceX团队不希望有其他事情来分散马斯克的媒体关注度。安东尼·阿奎尔一如既往的冷静和清醒，他指出，这意味着没有人想要媒体关注我们的会议，马斯克不想要，我们也不想要。活动推迟了几分钟开始，但我们制订了一个新计划：我们不打算提到捐赠的数额，这样媒体就会认为我们宣布的消息不值得关注，而且我会监督“查塔姆大厦规则”的执行，确保所有人都保守秘密，让大家在长达9天的时间里不泄露关于马斯克捐款声明的任何消息。之所以是9天，是因为9天后，他的火箭将到达太空站（无论着陆是否成功）；他说，如果火箭发射时发生了爆炸，他可能还需要比9天更多的时间。
倒计时终于归零，活动开始。我主持的超级智能小组成员仍然坐在我旁边的椅子上，他们是：埃利泽·尤德考斯基、埃隆·马斯克、尼克·波斯特洛姆、理查德·马拉、默里·沙纳汉、巴尔特·塞尔曼、谢恩·列格和弗诺·文奇。人们的掌声逐渐平息，但小组成员仍然坐在那里，因为是我让他们留下的，他们不知道我葫芦里卖的什么药。梅亚后来告诉我，当时她的脉搏跳到了最快。她在桌子下面紧紧抓着维多利亚·克拉科芙娜平静的手。我笑了。我知道，这是我们努力已久、期盼已久、等待已久的时刻。在会议上我说道：
