很高兴大家在“保证人工智能有益于人类，我们需要进行更多研究”上达成了共识，并且，我们也讨论出了许多马上就可以着手开展的具体研究方向。不过，既然我们已经在会议上谈到了严重的风险问题，那么，在大家出发到外面的酒吧和露天晚宴之前，最好先振奋一下精神，保持乐观的情绪。现在，我们把话筒交给埃隆·马斯克！
当马斯克拿着麦克风宣布他将捐出大量资金用于人工智能安全性研究时，我感到历史正在改变。不出所料，他博得满堂喝彩。按照计划，他并没有提到金额的多少，但我知道是说好的1 000万美元。实在太炫酷了！
会议结束之后，梅亚和我去瑞典和罗马尼亚分别拜访了我们的父母。在斯德哥尔摩，我们和我的父亲一起屏着呼吸观看了火箭发射直播。不幸的是，火箭着陆失败，终结于被马斯克委婉称为“RUD”的状态，这是“意外快速解体”（rapid unscheduled disassembly）的简写。又过了15个月，马斯克带领的团队终于成功实现了海上着陆。[3]他们的所有卫星都成功进入了轨道，我们的资助计划也一样。马斯克在社交平台上向他的几百万粉丝宣布了这一消息。
让人工智能安全性研究进入主流
波多黎各会议的一个重要目标是让人工智能的安全性研究进入主流。看到这个目标逐步实现，我十分振奋。第一步是会议本身。一旦研究者意识到他们的社群正在增长，就会开始喜欢讨论这个话题。很多参会者的鼓励让我深受感动。例如，康奈尔大学人工智能教授巴尔特·塞尔曼给我发电子邮件说：“我从未见过比你们组织得更好、更激动人心、更启发人智慧的科学会议。”
第二个主要步骤开始于2015年1月11日，当时马斯克在推特上发布“世界顶级人工智能开发者签署了致力于人工智能安全性研究的公开信”，并链接到一个注册页面。该页面很快就收集了8 000多个签名，其中包括许多享誉全球的人工智能开发者。突然之间，那些爱说“担心人工智能的安全的人不知道自己在说什么”的人很难开口了，因为这意味着他们在说，世界上最牛的人工智能研究者也不知道自己在说什么，这显然不切实际。世界各地的媒体都报道了这封公开信，但他们报道的方式让我们觉得，禁止记者参加会议是一个明智的决定。虽然信中最危言耸听的词语不过是“陷阱”，但却引发了诸如“埃隆·马斯克和斯蒂芬·霍金签署公开信，以预防机器人起义”这样的头条新闻，并配上了终结者的照片。在我们看过的数百篇文章中，我们最喜欢的一篇文章嘲讽地写道：“这个标题令人联想到机器人脚踩人类头骨的场景，将复杂和变革的技术变成了一场狂欢派对。[4]”幸运的是，也存在许多清醒的新闻文章，但它们给我们带来了另一个挑战，那就是如何对不断涌来的新签名进行手动验证，以保护我们的信誉，并除掉恶作剧签名，比如“HAL 9000”“终结者”“莎拉·珍妮特·康纳“和“天网”。为此，也为了今后的公开信，维多利亚·克拉科芙娜和亚诺思·克拉马尔组织了一个轮班制的志愿团队来检查签名。这个团队包括杰西·加莱夫、埃里克·佳斯特弗莱德和雷瓦蒂·库马尔，当身在印度的库马尔准备睡觉时，她就会把接力棒传递给身在波士顿的佳斯特弗莱德，然后再继续传递下去。
第三个主要步骤开始于4天后，当时马斯克在推特上发布了我们宣布他捐赠1 000万美元用于人工智能安全性研究的链接。一周之后，我们推出了一个在线通道，世界各地的研究者可以通过这个通道申请并竞争这笔资金。我们能如此迅速地推出申请系统，要多亏阿圭尔和我在过去的10年中一直运营类似的物理奖学金竞赛。位于加州的开放慈善项目（Open Philanthropy Project）通常聚焦于高影响力的捐赠，他们在马斯克的捐赠基础上又慷慨地加了一些，让我们能为研究者提供更多资金。我们不确定会有多少申请者，因为这个话题很新，截止日也没剩几天了。结果让我们震惊了——全世界大约有300个团队申请，总资金需求量大约1亿美元。一个由人工智能教授等研究人员组成的小组仔细审查了这些提案，并选出了37个获奖团队，资助他们3年的资金。当我们宣布获奖名单时，媒体对我们的报道产生了微妙的变化，再也没有终结者的照片。有志者，事竟成。人工智能安全性研究终于不再是空谈，而是有许多实际有用的工作要做。并且，许多优秀的研究团队纷纷卷起袖子加入进来。
第四个主要步骤是一个有机的过程，发生在接下来的两年里。全球范围内出现了大量技术出版物，还有几十个关于人工智能安全的研讨会，通常是作为主流人工智能会议的一部分。为了让人工智能社区参与到安全性研究中来，许多人已经坚持了许多年，但成功的次数寥寥无几。然而现在，事情真正起飞了。这些出版物中有许多是由我们的项目资助的。在未来生命研究所，我们尽自己最大的努力来帮助组织和资助尽可能多的研讨会，但我们看到，由人工智能研究者投入自己的时间和资源组织的会议占了越来越大的部分。因此，有越来越多的研究者从同行那里了解了人工智能安全性研究，并发现这些研究不仅有用，还可能很好玩，涉及有趣的数学和计算问题，够他们思考好一会儿了。
当然，并不是每个人都觉得复杂的方程很好玩。在波多黎各会议的两年之后，阿西洛马会议之前，我们还举办了一个技术研讨会。在会上，未来生命研究所资金的获奖者展示了他们的研究，大屏幕上的幻灯片里写满了数学符号。莱斯大学的人工智能教授摩西·瓦尔迪开玩笑说，他知道，一旦开会变成一件无聊的事，我们就成功地将人工智能安全性研究搞成了一个正式的研究领域。
人工智能安全性工作的迅速发展并不局限于学术界。亚马逊、DeepMind、Facebook、谷歌、IBM和微软发起了一个“人工智能有益运动”的行业伙伴关系[5]。我们最大的非营利性姊妹机构包括加州大学伯克利分校的机器智能研究所、牛津大学的人类未来研究所和剑桥大学的存在风险研究中心（Centre for the Study of Existential Risk）。由于在人工智能安全性研究方面获得了大额的新捐赠，这些机构得以扩展它们的研究。此外，还有一些别的“人工智能有益运动”项目也因获得了1 000万美元（或者更多）捐助而启动了，包括剑桥大学莱弗休姆智能未来中心（Leverhulme Centre for the Future of Intelligence）、位于匹兹堡的高盖茨伦理与计算技术基金会（K&L Gates Endowment for Ethics and Computational Technologies）以及位于迈阿密的人工智能伦理与管理基金会（Ethics and Governance of Artificial Intelligence Fund）。最后，还有一件同样重要的事——埃隆·马斯克等企业家耗资10亿美元在旧金山开办了一家非营利性公司OpenAI。人工智能安全性研究就此成型。
随着这一波研究的兴起，一大批个人意见和集体意见不断涌现。人工智能行业的合作伙伴关系发布了它的创始原则；美国政府、斯坦福大学和电气与电子工程师协会（简称IEEE，世界上最大的技术专家组织）都发表了长篇报告和建议；除此之外还有几十份报告和意见书[6]。
我们希望促进阿西洛马会议与会者之间有意义的讨论，并希望了解这个多元化的社区到底有哪些共识。因此，卢卡斯·佩里承担了一项很重要的任务——阅读我们找到的所有文件，并提取出其中所有的观点。阿奎尔发起了一项马拉松式项目，在这个项目中，未来生命研究所团队召开了一系列长时间的电话会议，尝试将相似的意见集中在一起，删除冗长的官僚辞令，最后整理出一个简洁的原则列表，其中包括一些没有正式发表但拥有一定的影响力，并在某些非正式场合发表过的意见。不过，这个列表中有很多模糊和矛盾的地方，需要进一步解释。所以，在会议的一个月前，我们向参会者分享了这份列表，收集了他们的观点和修改意见，以及一些更新颖的原则。来自社群的投入极大改进了这份原则列表，最终成形，供会议使用。
图9-3 一桌伟大的思想家正在阿西洛马思考有关人工智能的原则
这个集体努力的过程既费时又费力。在会议中，阿奎尔、梅亚和我都缩短了睡眠和午餐时间，争取尽早准备好下一步骤所需的所有内容。但这也令人兴奋。经过如此详细、棘手、时而争吵的讨论和如此广泛的反馈，我们惊喜地看到在最后的调研中，围绕许多原则涌现出了高度的共识，有些原则甚至获得了97%以上的支持率。这促使我们为最终列表设定了一个很高的标准：我们只保留至少90%参会者同意的原则。这意味着一些时髦的原则在最后时刻被摒弃了，包括我个人最喜欢的一些原则[7]。然而，这能让大多数参与者感到满意，愿意签名以表示支持。以下是结果。
阿西洛马人工智能原则
人工智能已经向全世界的人们提供了日常使用的有益工具。如果以下列原则为指导继续发展下去，我们将有惊人的机会帮助未来数十年甚至数百年后的人类，并赋予他们力量。
研究问题
1．研究目标：人工智能研究的目标应该是创造有益的智能，而不是没有方向的智能。
2．研究经费：在对人工智能的投资中，应该留出一部分资金来研究如何确保它的应用对人类有益，包括计算机科学、经济学、法律、伦理和社会研究中的棘手问题，例如：
a）如何让未来的人工智能系统具备高度的稳健性，好让它们按我们的要求运行，而不会出现故障或被黑客攻入？
b）如何通过自动化来实现繁荣发展，同时保留人类的资源和目标？
c）如何升级法律系统，使其更加公正有效，以跟上人工智能的发展，并管理人工智能带来的风险？
d）人工智能应该符合怎样的价值体系，以及它应该拥有怎样的法律和伦理地位？
3．科学与政策的联系：在人工智能研究者和政策制定者之间应该存在具有建设性的健康的信息交流。
4．研究文化：应该在人工智能研究者与开发者之中建立一种合作、信任和透明的文化。
5．避免竞争：开发人工智能系统的团队应该积极合作，避免在安全标准上偷工减料。
伦理与价值
6．安全：人工智能系统在它的整个运营寿命中应该是安全可靠的，并且，其安全性在其适用和可行之处必须是可验证的。
7．故障透明度：如果人工智能系统造成了危害，必须有方法查明原因。
8．公平透明度：自动化系统参与的任何法律决策都应该提供令人满意的解释，并且，这些解释能通过具有一定资质的权威人士的审计。
9．责任：先进人工智能系统的设计者和建造者是其使用、误用和行为的道德后果的利益相关者，肩负着承担这些后果的责任，也拥有承担这些后果的机会。
10．价值定位：高度自主的人工智能系统的设计应该保证它们的目标和行为在其运营寿命中与人类价值观相一致。
11．人类价值：人工智能系统的设计和运营应该符合人类尊严、权利、自由和文化多样性的理想。
12．个人隐私：在给予人工智能分析和使用人类数据的权利时，人类也应该有权利访问、管理和控制自己产生的这些数据。
13．自由与隐私：人工智能对个人数据方面的应用不应该不合理地剥夺人们的自由，包括真实的自由和感觉到的自由。
14．共享利益：人工智能技术应该惠及和赋予尽可能多的人口。
15．共同富裕：人工智能创造的经济效益应该被广泛分享，惠及所有人。
16．人类控制：人类应该决定要不要赋予人工智能决策权以及如何赋予它们决策权，以完成人类的目标。
17．非颠覆：由于控制了高度先进的人工智能系统而获得的权力应该尊重和改进健康社会所依赖的社会与公民程序，而不应该起到颠覆的反作用。
18．人工智能军备竞赛：应该避免开发致命自动化武器的军备竞赛。
长期问题
19．能力警惕：由于还未达成共识，我们应该避免在未来人工智能的能力上限方面做出强假设。
20．重要性：先进的人工智能可能为地球生命的历史带来深远的改变，应该用相应的谨慎和资源进行计划和管理。
21．风险：人工智能系统带来了一些风险，尤其可能带来灾难性的后果以及危及人类存在的风险，我们应该投入与这些风险的预期影响相称的努力，以缓解后果。
22．迭代式自我改进：设计出来迭代式自我改进或自我复制的人工智能系统，如果可能导致质量或数量的快速增长，那应该对其安全性和可控性进行严格的评估。
23．公共利益：超级智能只应该被开发以服务于广泛认同的伦理理念和全人类的利益，而不是服务于单个国家或组织的利益。
我们把这份原则发布在网上后，签名人数急剧增加。到现在，已经涵盖了超过1 000名人工智能研究者和许多顶级思想家。如果你也想加入，成为签名者，你可以访问这个网址：http://futureoflife.org/AI-principles。
令我们震惊的，不仅是这些原则获得了很多共识，还因为它们本身的力度就很强。诚然，其中一些原则乍一看就像“和平、爱和母性是有价值的”这种话，看起来似乎毫无争议，但却暗藏机关，只要设想一些与之违背的陈述，就很容易看出来。例如，“超级智能是不可能的”违反了第19条，“减少人工智能存在风险的研究完全是浪费”违反了第21条。你可以观看我们关于长期影响的小组讨论视频[8]，在那里你可以看到，埃隆·马斯克、斯图尔特·罗素、雷·库兹韦尔、丹米斯·哈萨比斯、山姆·哈里斯、尼克·波斯特洛姆、戴维·查尔默斯、巴尔特·塞尔曼、扬·塔里安这些人都同意超级智能有可能被开发出来。因此，人工智能的安全性研究非常重要。
警觉的乐观
正如我在开头所说，对生命的未来，我从来没有像现在这般乐观。请允许我向你分享我的个人故事，来解释一下为什么。
过去几年的经历因为两个不同的原因提升了我的乐观程度。首先，我亲眼目睹了人工智能界以非凡的方式聚集在一起，并与其他领域的思想家合作，积极应对未来的挑战。埃隆·马斯克在阿西洛马会议后告诉我，他惊讶地发现人工智能的安全性问题在短短几年内，从一个边缘问题进入了主流视野，我自己也感到同样惊喜。现在，不仅第3章中讨论的短期问题成了严肃的话题，甚至连阿西洛马人工智能原则中谈到的超级智能和存在风险也逐渐被越来越多的人讨论。这些原则如果放到两年前的波多黎各会议上，肯定无法通过——那时的那封公开信中最吓人的词也不过是“陷阱”而已。
我喜欢观察人。在阿西洛马会议的最后一天早上，我站在礼堂旁边，看着与会者聆听关于人工智能和法律的讨论。有一股温暖而模糊的感觉掠过我全身，让我非常感动。这与波多黎各会议如此不同！在波多黎各，我记得人工智能界大多数人对人工智能的态度是尊重和恐惧共存——并不是与我们针锋相对，但我和我那些关心人工智能的同事都觉得，这些人尚等待着我们去说服。而现在，我能明显感觉到他们和我们站在同一边了。正如你从本书中看到的那样，我依然不知道如何用人工智能创造美好的未来，所以，能成为这个不断成长的社区的一部分，与他们共同寻找答案，我感觉棒极了。
图9-4 在阿西洛马会议上，寻找答案的人越来越多
我变得更加乐观的第二个原因是，未来生命研究所的经历赋予了我力量。在伦敦催我泪下的是一种面对必然无能为力的感觉：一个令人不安的未来可能即将来临，而我们却无力回天。但接下来的三年时间里，我那忧郁的宿命感逐渐被消解了。如果一个名不见经传的志愿者团队都愿意免费为这个当今最重要的对话做出积极的贡献，那么请想象一下，如果全人类合力，我们将完成多么伟大的壮举！
埃里克·布莱恩约弗森在阿西洛马发表了演讲。在其中，他提到了两种乐观主义。第一种是无条件的乐观，比如，我们乐观地相信太阳明早一定还会出来。第二种是警觉的乐观，也就是说，相信只要计划周全、坚持不懈，就一定会有好的结果。我对未来的感觉，正是这第二种乐观。
那么，随着我们踏进人工智能的时代，你能为生命的未来做出什么积极的贡献呢？我认为，如果你还没准备好，那么第一大步就是努力成为一个警觉的乐观主义者。接下来我将解释一下原因。要成为一个成功的警觉乐观主义者，重要的是要对未来形成一个积极的愿景。每当麻省理工学院的学生来我的办公室咨询就业建议时，我通常会先问他们认为自己10年后会在哪里。如果一个学生回答“我可能会躺在癌症病房里，或者被汽车撞死了，埋在公墓里”，那我会对他毫不客气。只看到悲观的未来对职业规划来说是很糟糕的！诚然，把自己100%的精力都花在避免疾病和意外上，对抑郁症和妄想症患者来说是一个良方，但对幸福却不是。相反，我想听到学生激情四射地描述自己的目标，然后，我们就可以开始讨论要到达那里可能有哪些策略，同时如何避免陷阱。
布莱恩约弗森指出，根据博弈论，积极的愿景构成了世界上所有合作的大部分基础，从婚姻到企业并购，再到美国各州组成一个国家的决定。毕竟，如果不能得到更大的回报，为什么要牺牲一些自己拥有的东西？这意味着，我们不仅要为我们自己，还要为社会和全人类想象一个积极的未来。换句话说，我们需要更多的“存在希望”！虽然梅亚总是提醒我，从《弗兰肯斯坦》到《终结者》，人们在文学和电影作品中对未来的想象大都不甚理想。换句话说，全社会对未来的计划都很糟糕，就像我假想出来的那个麻省理工学院的学生一样。这就是为什么我们需要更多警觉的乐观主义者。这也是为什么我在这本书里一直鼓励你去思考，你想要什么样的未来，而不是你害怕什么样的未来。这样，我们才能找到共同的目标，然后一起努力去实现它。
在这本书里，我们看到了人工智能可能会带来巨大的机会和艰巨的挑战。有一个策略可能对所有人工智能挑战都有用，那就是让我们一起行动，在人工智能完全起飞之前对人类社会进行改善。如果我们教育年轻人，在技术获得巨大的力量之前保证技术是稳健而有益的，那一切就会变得更好。如果我们及时修改法律，让其跟上技术的发展，以免过时，那一切也会变得更好。如果我们能在国际争端升级为自动化武器军备竞赛之前就解决它们，那一切也会变得更好。如果我们能在人工智能加剧不平等现象之前就创造出一个人人富裕的社会，一切也会变得更好。如果在我们的社会中，人工智能安全性研究的成果得以实施，而不是被人忽视，那一切也会变得更好。再看得远一点，看看与超人类通用人工智能有关的挑战。如果我们在教给强大的智能机器基本伦理标准之前，在某些标准上达成了共识，那一切就会变得更好。在一个极端和混乱的世界里，有权有势的人有更大的动机和能力用人工智能来胡作非为，同时，比起彼此合作，争先恐后的通用人工智能开发团队们更有动力在安全性上偷工减料。总而言之，如果我们能创建一个齐心协力追求共同目标的和谐社会，那么，人工智能的变革极有可能会带来皆大欢喜的结果。
换句话说，想要改善生命的未来，最好的方法就是从明天开始做起。你有许多方式可以实现这一点。当然了，你可以用选票告诉代表你的政客，你对教育、隐私、自动化武器、技术性失业等问题的看法。但你每天也在通过其他事情进行投票，比如你买的东西、你阅读的新闻、你分享的信息和你扮演的角色。你是想成为一个打断人们谈话并检查他们手机的人，还是想要计划周全、小心谨慎地使用科技并从中获得力量？你想要拥有你的科技产品，还是被你的科技产品所拥有？你希望在人工智能时代身为一个人类的意义是什么？请和你周围的人讨论这些问题——这个话题不仅很重要，而且引人入胜。
我们就是未来生命的守护者，因为人工智能时代正在由我们塑造。虽然我在伦敦流下了眼泪，但我现在觉得，未来没有什么是必然发生、不可避免的。并且，我知道，要做出改变，比我想象的容易得多。我们的未来并没有镌刻在石头上，只等着发生——它要由我们来创造。让我们一起创造一个振奋人心的未来吧！
注释
01 欢迎参与我们这个时代最重要的对话
[1] 让人工智能更强健和有益的公开信：http://futureoflife.org/ai-open-letter/.
[2] 媒体对机器人危言耸听的报道案例：http://tinyurl.com/hawkingbots.
02 物质孕育智能
[1] 关于通用人工智能（AGI）这个词的来源的注解：http://wp.goertzel.org/who-coined-the-term-agi.
[2] 选自汉斯·莫拉维克于1998年发表的文章《当计算机硬件与人类大脑相媲美时》（When will computer hardware match the human brain）, Journal of Evolution and Technology, vol. 1.
[3] 在显示每年的计算成本的图片中，2011年以前的数据来自雷·库兹韦尔的书《人工智能的未来》（How to Create a Mind），之后的数据是根据以下参考文献计算出来的：https://en.wikipedia.org/wiki/FLOPS.
[4] 量子计算先驱戴维·多伊奇在下面这本书中描述了他为什么把量子计算视为平行宇宙的证据：David Deutsch 1997, The fabric of reality, Allen Lane。如果你想了解我对量子平行宇宙的看法（我将其视为四层多重宇宙中的第三层），你可以读一下我的前一本书：《穿越平行宇宙》。
03 不远的未来：科技大突破、变故、法律、武器和就业
[1] DeepMind公司的深度强化学习人工智能教自己玩计算机游戏《打砖块》的视频：https://tinyurl.com/atariai.
[2] DeepMind公司的人工智能如何玩雅达利游戏的相关论文：http://tinyurl.com/ataripaper.
[3] 《纽约时报》关于机器翻译的最新进展的文章：http://www.nytimes.com/2016/12/14/magazine/the-%20great-%20ai-%20awakening.htm.
[4] 威诺格拉德模式挑战赛：http://tinyurl.com/winogradchallenge.
[5] 调查委员会提供的“阿丽亚娜5号”501号飞行故障报告：http://tinyurl.com/arianeflop.
[6] NASA的火星气候探测器事故调查委员会第一阶段报告：http://tinyurl.com/marsflop.
[7] 关于“水手1号”金星任务失败事故，最详细一致的分析认为，失败原因是手工抄写时导致一个数学符号错误（丢失了一个上画线）：http://tinyurl.com/marinerflop.
[8] 苏联的“福波斯1号”火星任务的失败，在这本书的308页有详细描述：Soviet Robots in the Solar System, Wesley Huntress & Mikhail Marov 2011, Praxis Publishing.
[9] 未经验证的软件如何让骑士资本集团在45分钟内损失了4.4亿美元：http://tinyurl.com/knightflop1和http://tinyurl.com/knightflop2.
[10] 美国政府对华尔街“闪电崩盘”事故的报告：http://tinyurl.com/flashcrashreport.
[11] 基于社区的“微观装配实验室”的全球地图：https://www.fablabs.io/map.
[12] 关于罗伯特·威廉姆斯被工业机器人杀死的新闻文章：http://tinyurl.com/williamsaccident.
[13] 关于浦田健志被工业机器人杀死的新闻文章：http://tinyurl.com/uradaaccident.
[14] 大众汽车工人被工业机器人杀死的新闻文章：http://tinyurl.com/baunatalaccident.
[15] 美国政府对工厂事故的报告：https://www.osha.gov/dep/fatcat/dep_fatcat.html.
[16] 汽车事故统计数据：http://tinyurl.com/roadsafety2%20and%20http://tinyurl.com/roadsafety3.
[17] 特斯拉自动驾驶汽车第一起事故的新闻报道：http://tinyurl.com/teslacrashstory；美国政府的报告：http://tinyurl.com/teslacrashreport.
[18] 一本描述“自由企业先驱号”灾难的书：R. B. Whittingham, The Blame Machine: Why Human Error Causes Accidents, Elsevier 2004.
[19] 2003年美国和加拿大停电事故的官方报告：http://tinyurl.com/uscanadablackout.
[20] 三里岛事故调查委员会的最终报告：http://www.threemileisland.org/downloads/188.pdf.
[21] 荷兰一项研究表明，在对MRI图像进行前列腺癌诊断时，人工智能的表现超过人类放射科医生：http://tinyurl.com/prostate-ai.
[22] 斯坦福大学的一项研究表明，人工智能在诊断肺癌时的表现比人类病理学家还要好：http://tinyurl.com/lungcancer-ai.
[23] Therac-25放疗事故调查：http://tinyurl.com/theracfailure.
[24] 因用户界面不清楚而导致的放疗设备辐射过量致命事故调查报告：http://tinyurl.com/cobalt60accident.
[25] 手术机器人操作不良造成的事故的研究：https://arxiv.org/abs/1507.03518.
[26] 这篇文章描述了糟糕的住院治疗导致的死亡数量：http://tinyurl.com/medaccidents.
[27] 10亿雅虎账号用户被攻击，为“大规模攻击”制定了新的标准：https://www.wired.com/2016/12/yahoo-hack-billion-users/.
[28] 《纽约时报》上一篇关于三K党凶手被宣判无罪，后又被定罪的文章：http://tinyurl.com/kkkacquittal.
[29] Danziger等人在2011年进行的研究（http://www.pnas.org/content/108/17/6889.full）声称，饥饿的法官会更严厉，但这个研究被Weinshall-Margela & John Shapard批评说是有缺陷的（http://www.pnas.org/content/108/42/E833.full），但Danziger等人坚称他们的结论是有效的：http://www.pnas.org/content/108/42/E834.full.
[30] 关于累犯预测软件中存在种族偏见的报告：http://tinyurl.com/robojudge.
[31] 在审讯时使用功能磁共振成像等脑扫描技术获取的数据作为证据，是争议性非常高的，因为人们怀疑这种技术的可靠性，但一些团队声称其准确性高于90%：http://journal.frontiersin.org/article/10.3389/fpsyg.2015.00709/full.
[32] PBS拍摄了一部电影《那个拯救世界的男人》（The Man Who Saved the World），描述了瓦西里·阿尔希波夫如何以一人之力避免了苏联的核攻击。
[33] 斯坦尼斯拉夫·彼得罗夫如何将美国核攻击的警报视为假警报的故事后来被改编为一部电影《那个拯救世界的男人》（The Man Who Saved the World）（不要和前一条注释中的那部电影混淆了，它们虽然名字相同，但是两部不同的电影）。彼得罗夫后来被联合国授予了“世界公民奖”的荣誉。
[34] 人工智能和机器人学家关于自动化武器的公开信：http://futureoflife.org/open-letter-autonomous-weapons/.
[35] 一名美国政府官员似乎在警告人工智能军备竞赛：http://tinyurl.com/workquote.
[36] 牛津赈灾会（Oxfam）关于全球财富不平等状况的报告：http://tinyurl.com/oxfam2017.
[37] 一项关于美国从1913年以来的财富不平等状况的研究：http://gabriel-zucman.eu/files/SaezZucman2015.pdf.
[38] 关于技术驱动的不平等，有一个很好的介绍，请参见：“The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies” by Erik Brynjolfsson & Andrew McAfee, Norton, 2014.
[39] 数据来自：Facundo Alvaredo, Anthony B. Atkinson, Thomas Piketty, Emmanuel Saez, and Gabriel Zucman, The World Wealth and Income Database (http://www.wid.world, 31/10/2016)，包括资本利得。
[40] 《大西洋月刊》上关于受教育程度较低者的工资降低的文章：http://tinyurl.com/wagedrop.
[41] 詹姆斯·玛尼卡（James Manyika）关于收入从劳动转向资本的演讲：http://futureoflife.org/data/PDF/james_manyika.pdf.
[42] 牛津大学关于未来职业自动化的预测（http://tinyurl.com/automationoxford），以及麦肯锡的预测（http://tinyurl.com/automationmckinsey）。
[43] 马林·索里亚奇克（Marin Soljačić）在2016年的一次研讨会上探讨了这些选项：“发狂的计算机：人工智能的发展对社会的影响和意义。” http://futureoflife.org/2016/05/06/computers-gone-wild/.
[44] 安德鲁·麦卡菲关于如何创造更多好工作的建议：http://futureoflife.org/data/PDF/andrew_mcafee.pdf.
[45] 美国劳工统计局：http://www.bls.gov/cps/cpsaat11.htm.
[46] 认为技术性失业“这次不一样”的论据：Robots Will Steal Your Job, but That's OK, Federico Pistono 2012, http://robots-willstealyourjob.com.
[47] 美国马匹数量的变化：http://tinyurl.com/horsedecline.
[48] 综合分析表明，失业会影响幸福感：Maike Luhmann et al. 2012: “Subjective well-being and adaptation to life events: a meta-analysis”, Journal of personality and social psychology 102.3 (2012): 592, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3289759.
[49] 关于如何提升人们幸福感的研究：Angela Duckworth, Tracy Steen, and Martin Seligman 2005, Positive Psychology in Clinical Practice (http://tinyurl.com/wellbeingduckworth)，Weiting Ng & Ed Diener, “What matters to the rich and the poor? Subjective well-being, fi-nancial satisfaction, and postmaterialist needs across the world.”, Journal of personality and social psychology 107.2 (2014): 326 (http://psycnet.apa.org/journals/psp/107/2/326), Kirsten Weir 2013, “More than job satisfaction” (http://www.apa.org/monitor/2013/12/job-satisfaction.aspx).
[50] 将1011个神经元、每个神经元104个连接、每秒每个神经元大约放电1（100）次乘起来，结果表明，大约1015FLOPS（1 petaFLOPS）就足以模拟人类大脑，但是，还有许多复杂的东西是我们理解得不甚透彻的，包括放电的具体时机，以及是否也需要模拟神经元和突触的较小部件。根据IBM计算机科学家哈蒙德拉·莫得哈（Dharmendra Modha）估计，需要38 petaFLOPS（http://tinyurl.com/javln43），而神经科学家亨利·马克拉姆（Henry Markram）估计大约需要1 000 petaFLOPS（http://tinyurl.com/6rpohqv）。人工智能研究者卡特娅·格蕾丝和保罗·克里斯蒂亚诺则认为，大脑模拟最昂贵的部分并不是计算，而是通信，但即便如此，这也已经是目前最好的超级计算机可以完成的任务了：http://aiimpacts.org/about。
[51] 这篇论文包含关于人脑计算能力的有趣估算：Hans Moravec 1998, “When will computer hardware match the human brain”, Journal of Evolution and Technology, vol. 1.
04 智能爆炸？
[1] 第一只机器鸟的视频：https://www.ted.com/talks/a_robot_that_flies_like_a_bird.
05 劫后余波，未知的世界：接下来的1万年
[1] 这句关于人工智能尊敬人类的话引用自这本书：Ray Kurzweil 2005, The Singularity is Near, Viking Press.
[2] 描述本·格策尔的“保姆人工智能”情景的文章：https://wiki.lesswrong.com/wiki/Nanny_AI.
[3] 关于机器与人类的关系，以及机器是不是我们的奴隶的文章：http://tinyurl.com/aislaves.
[4] 尼克·波斯特洛姆在他的《超级智能》一书中讨论了“智能犯罪”，并在这篇更近一些的论文中讨论了更多技术细节：Nick Bostrom, Allan Dafoe & Carrick Flynn 2016, “Policy Desider-ata in the Development of Machine Superintelligence”, http://www.nickbostrom.com/papers/aipolicy.pdf.
[5] 东德间谍组织头领的回忆录：http://www.mcclatchydc.com/news/nation-world/national/article24750439.html.
