(21) 或非门是指具有多端输入和单端输出的门电路。当任一输入端（或多端）为高电平，也就是逻辑“1”时，输出就是低电平，也就是逻辑“0”；只有当所有输入端都是低电平，也就是逻辑“0”时，输出才是高电平，也就是逻辑“1”。——编者注
(22) 元胞自动机（cellul arautomata）是20世纪50年代初，计算机之父冯·诺依曼为了模拟生命系统所具有的自动复制功能而提出的。
(23) 这个趋势被称为“摩尔定律”（Moore's Law）。
(24) 风洞实验是指在风洞中安置飞行器或其他物体模型，研究气体流动及其与模型的相互作用，以了解实际飞行器或其他物体的空气动力学特性的一种空气动力实验。——编者注
(25) 如果你喜欢数学，在这里我向你介绍两种最流行的激励函数，一种叫作Sigmoid函数，即σ(x)≡1/(1+e−x)；另一种叫作斜坡函数，即σ(x)=max{0, x}，不过，有人已经证明，几乎任何函数都能满足斜坡函数的条件，只要它不是线性（一条直线）就行。约翰·霍普菲尔德的著名模型使用的函数是：当x<0时，σ(x)=−1，当x≥0时，σ(x)=1。如果神经元的状态存储于一个向量内，那么，想要更新这个网络，就只需要给这个向量乘上一个代表突触连接强度的矩阵，然后在所有元素上应用激励函数就可以了。
(26) 这些例子来自我学生亨利·林（Henry Lin）的论文，详见http://arxiv.org/abs/1608.08225。
(27) 之所以称为“深度”，是因为它们包含的层数很多。
(28) 逻辑门电路是指实现基本和常用逻辑运算的电子电路。在数字电路中，所谓“门”就是只能实现基本逻辑关系的电路。——编者注
(29) GOFAI是指“有效的老式人工智能”（Good Old-Fashioned AI，简称GOFAI），这是人们对深度学习革命之前的人工智能的幽默昵称。
(30) 如果你想要了解人工智能安全性研究领域的更多信息，这里有一个互动的版本，是由未来生命研究所的理查德·马拉（Richard Mallah）牵头完成的，详细信息请看https://futureoflife.org/landscape。
(31) 更准确地说，“验证”看的是一个系统是否满足它的规范，而“确认”看的是我们是否选择了正确的规范。
(32) 人们的统计数据发现，即便加上这次车祸，特斯拉的自动驾驶功能开启后，依然能降低40%的撞车事故。参见http://tinyurl.com/teslasafety。
(33) 自动化武器系统（Autonomous Weapon Systems，简称AWS），有时也被反对者称为“杀手机器人”。
(34) 密集阵系统是指美国海军为解决军舰近程防空问题专门设计制造的六管20毫米口径的自动旋转式火炮系统。——编者注
(35) 底特律“三巨头”指通用、福特和克莱斯勒三家汽车公司，而硅谷“三巨头”指谷歌、苹果和Facebook三大互联网公司。——编者注
(36) 心流（mental flow）在心理学中是指，某个人在专注进行某项行为时所表现的心理状态，心流产生的同时会有高度的兴奋及充实感。——编者注
(37) 请回忆一下，FLOPS是指每秒钟可运行的浮点运算次数，比如，每秒钟可以计算多少个19位数的数字的乘积。
(38) 大脑的硬件“神经形态芯片”（neuromorphic chips），如今正在飞速发展。
(39) 上传者（Uploads）也叫作仿真者（Emulations），简称Ems。
(40) 尼克·波斯特洛姆曾解释说，如果一家人工智能公司能够在计算机中模拟出一位顶级的人类人工智能开发者，并且其成本远低于他的时薪，那么，这家公司的工作能力就能极大提升，将能积累巨大的财富，并能不断迭代和进步，建造出更好的计算机，最终制造出更加聪明的智能。
(41) 关于“新天堂”，1960年的电视剧《阴阳魔界》（Twilight Zone）中的一集《值得拜访的好地方》（A Nice Place to Visit）中也有所体现。——编者注
(42) 这个想法可以追溯到圣奥古斯丁（Saint Augustine），他写道：“如果某件东西在与他人分享时并不会减少半分，那么，只是占有它而不分享，就是不正确的。”
(43) 我是从我的好友兼同事安东尼·阿奎尔那里第一次听说这个想法的。
(44) 模因（memes）是指文化基因，其在诸如语言、观念、信仰、行为方式等的传递过程中的作用，与基因在生物进化过程中所起的作用类似。——编者注
(45) 亚伯拉罕·马斯洛（Abraham Maslow）将人类的需求像阶梯一样从低到高分为5个层次，分别是：生理需求、安全需求、社交需求、尊重需求和自我实现需求。——编者注
(46) 此处智能的定义是它完成目标的能力，无论这个目标是什么。
(47) 戴森球是弗里曼·戴森在1960年提出的一种理论。所谓“戴森球”就是直径2亿千米不等，用来包裹恒星、开采恒星能量的人造天体。这是一个利用恒星做动力源的天然的核聚变反应。——编者注
(48) 著名宇宙学家弗雷德·霍伊尔（Fred Hoyle）在小说《以A开头的仙女座》（A for Andromeda）中也探讨了一个类似的情景，不过有些地方不一样。
(49) 向大气中排放碳元素会引起两种气候变化：二氧化碳造成升温，烟尘造成降温。由于缺乏足够的科学证据，许多人常常不相信第一种变化，但并不是只有第一种才被人们忽视。偶尔有人告诉我，“核冬天”的假面具已经被揭穿了，它实际上是不可能的。每当这时候，我就要求他们展示一篇提出如此强烈论点的同行评议科学论文。迄今为止，这样的论文似乎并不存在。尽管存在很大的不确定性，尤其是在烟尘数量和上升高度方面，但我的科学观点是，没有任何基础证据表明，核冬天的风险是不存在的。
(50) 由单层碳原子组成的六边形网状结构，就像铁丝网一样。
(51) 如果你在能源行业工作，可能会更习惯于将“能源效率”定义为以有用的形式释放的能量所占的比例。
(52) 如果在附近找不到一个自然生成的合适黑洞，我们可以把许多物质压缩到一个足够小的空间里，从而造出一个新的黑洞。
(53) 这么讲其实有点过于简化，因为霍金辐射还包括一些很难被有效利用的粒子。大型黑洞的效率只有90%，因为有10%的能量以引力子的形式被释放出来。引力子是一种非常“害羞”的粒子，几乎无法被探测到，更别说有效利用了。随着黑洞继续蒸发和收缩，效率会进一步降低，因为霍金辐射又开始包括中微子和其他大质量粒子。
(54) 对道格拉斯·亚当斯的粉丝来说，这个数字有着特殊的意义，因为42是“生命、宇宙以及万物的终极答案”。更精确地来说，这里的能量效率等于。
(55) 如果你“喂”给黑洞燃料的方式是，在其周围放置一个围绕着黑洞并以相同方向缓慢旋转的气体云，那么，随着气体云被拉近和被吞噬，它的旋转速度会越来越快，从而促使黑洞旋转得更快，就像花样滑冰运动员在旋转时收回自己的手臂，从而转得更快一样。这或许可以让黑洞达到最快的旋转速度，使得你可以提取出气体能量的42%，然后提取出剩下部分的29%。这样，总体的能量效率等于42%+（1-42%）×29%≈59%。
(56) 必须要达到足够高的温度，才能将电磁力和弱作用力重新统一起来。当粒子在粒子对撞机中以2000亿伏特加速时，就能达到这种状态。
(57) 前文中，我们只讨论了由原子组成的物质。实际上，还有6倍多的暗物质，但它难以捉摸，也很难捕获，通常会直接穿过地球，并从另一边毫发无伤地穿出来，所以，未来生命能不能捕捉和利用暗物质，我们只能拭目以待了。
(58) 这里的宇宙数学其实非常简单：如果这个文明在膨胀空间内不是以光速c而是以一个较慢的速度v前进，那么，它能殖民的星系数量就会减少，其减少系数为(v/c)3。这意味着，如果一个文明的动作迟缓，那它基本上就算瘫痪了。因为，如果它扩张的速度慢10倍，那它最终殖民的星系数量就会少1000倍。
(59) 量子芝诺效应（quantum zeno effect）又称量子水壶效应（watched-pot effect），它指出，频繁地对一个不稳定粒子进行量子观测会抑制和阻止它的衰变。——编者注
(60) 在生物学中，速度的极限是由电子信号在神经元中传导的最快速度决定的。
(61) 约翰·格里宾（John Gribbin）在他2011年的著作《独在宇宙》（Alone in the Universe）一书中也得出了类似的观点。如果你想了解关于这个问题的其他观点，我推荐保罗·戴维斯（Paul Davies）2011年的著作《可怕的寂静》（The Eerie Silence）。
(62) 我们的宇宙是指，大爆炸以来的138亿年中，发出的光线足以到达我们的区域。
(63) 《穿越平行宇宙》是本书作者所著的关于平行宇宙的科普著作，探索了宇宙终极本质的神秘旅程。中文简体字版已由湛庐文化策划，浙江人民出版社出版。——编者注
(64) 核糖体是一种高度复杂的分子机器，它能够读取我们的基因密码，并生产我们所需的蛋白质。
(65) 这个想法被美国天文学家约翰·波尔（John A. Ball）称为“动物园假说”（Zoo Hypothesis），并在一些经典科幻作品中有过详细的描写，例如奥拉夫·斯塔普雷顿所著的《造星者》。
(66) 许多昆虫保持直线飞行的经验法则是假设亮光就是太阳，于是与亮光成一定角度飞行。如果这个亮光实际上是近处的一团火，那昆虫也会按一定角度飞过去，跳出一支“死亡旋舞”。
(67) 安东尼奥·达马西奥是美国南加州大学神经科学、心理学和哲学教授，他以情绪为出发点，从演化的角度重新阐释了人类意识的产生路径。这方面的代表作《笛卡尔的错误》《当自我来敲门》中文简体字版已由湛庐文化策划，北京联合出版公司出版。——编者注
(68) 这里我所说的“改进软件”是最广义的改进，不仅包括对算法的优化，还包括让决策制定过程更加理性的改进。这样，人工智能就可以尽可能好地保持自己的目标。
(69) 史蒂芬·平克，美国著名认知心理学家和科普作家，因广泛宣传演化心理学和心智计算理论的心态而闻名于世。其代表作“语言与人性”四部曲《语言本能》《思想本质》《心智探奇》《白板》中文简体字版已由湛庐文化策划，浙江人民出版社出版。——编者注
(70) 还有一种观点叫作实体二元论（substance dualism）。这种观点认为，生物之所以与非生物不同，是因为它们包含一些非物质的东西，如“灵气”（anima）、“生命冲力”（élan vital）或“灵魂”（soul）。如今支持实体二元论的科学家越来越少。要理解为什么，请想一想，你的身体是由大约1029个夸克和电子组成的，据我们所知，它们的移动都遵从简单的物理定律。请想象一下，假设未来有一项技术能够追踪所有的粒子。如果它发现你的粒子完全服从物理定律，那所谓的“灵魂”对你的粒子就没有任何影响，那么，你的意识心智和运动控制能力就与灵魂没有任何关系。如果这项技术发现你的粒子不遵守任何已知的物理定律，而是受你的灵魂所驱动，那么，带来这些驱动力的未知事物从本质上来说，一定也是一个物理存在的实体，我们可以像过去研究新领域和新粒子一样对它进行研究。
(71) 我在这里使用“感质”这个词是根据字典的定义，即主观体验的单个实例，也就是说，主观体验本身，而不是任何引起体验的物质。请注意，不同的人在提到这个词时的意思可能不一样。
(72) 我原本把RHP称为“非常困难的问题”，但大卫·查尔默斯读了这一章之后，他给我提了一个巧妙的建议，让我改成“真难的问题”，以配合他的本意：“由于前两个问题（至少按现在的顺序）并不属于我设想的难题，而第三个问题确实属于，所以，你可以用‘真难’而不是‘非常难’来匹配第三个问题，以符合我的本意。”
(73) 假如我在《穿越平行宇宙》一书中所说的理论是真实的，我们的物理实在完全是数学，简单来说就是以信息为基础，那么，现实世界中就没有任何东西是超出科学范畴的，甚至连意识也不是。事实上，从这个角度来看，“真难的问题”就变成了下面这个问题：“数学的东西为什么感觉起来具有物理性质？”如果数学结构的一部分拥有了意识，那它就能体验到外部物理世界中的其他部分。
(74) 系统2是指需要花费精力的、缓慢而可控的思考方式。
(75) 我之前用“感质”作为“意识质”的同义词，但感质这个词的概念太窄了，因为感质仅仅指的是那些基于感觉器官的主观体验，而排除了一些不基于感觉器官的意识，比如梦境和心里产生的想法。
(76) 这个论断与“意识是独立于物质层面而存在的”这一思想之间有些冲突，因为，即使最低层级（物质层面）上的信息处理过程可能不一样，从理论上来说，决定行为的高层级上的信息处理应该是完全相同的。
(77) 这段经历让我开始重新思考应当如何解读新闻。虽然我早就知道大部分报道都怀有政治目的，但我现在才意识到，它们不仅在政治上如此，而且在所有问题上（包括与政治无关的话题）都带有偏见。
