在那个炎热夏日的泳池边，尽管佩奇似乎有些寡不敌众，但实际上，他极力维护的“数字乌托邦主义”拥有许多支持者。1988年，机器人学家兼未来学家汉斯·莫拉维克（Hans Moravec）写了一本经典著作《智力后裔》（Mind Children），这本书启发了整整一代数字乌托邦主义者。因此，这一观点得以延续下来，后来又被未来学家雷·库兹韦尔（Ray Kurzweil）所提炼。理查德·萨顿（Richard Sutton）是人工智能领域强化学习的先驱，在我们于波多黎各岛举行的会议上，他激情四射地捍卫了数字乌托邦主义。我之后会简略地给你讲讲这个会议的情况。
技术怀疑主义者：没有必要杞人忧天
有些思想家一点也不担心人工智能将会带来的影响，不过，不担心的原因却与数字乌托邦主义者截然不同。这些思想家认为，建造超人类水平的通用人工智能实在太困难了，没有几百年的时间，根本无法实现，因此没必要杞人忧天。我把这种观点称为“技术怀疑主义”。拥有“中国谷歌”之称的百度的前首席科学家吴恩达对这种观点进行了很好的阐释：“担心杀手机器人的崛起，就好像担心火星出现人口过剩一样。”最近在波士顿的一场会议上，吴恩达再次向我重申了自己的这个观点。他还告诉我，他担心对人工智能风险的担忧可能会引导人们对人工智能充满恶意，从而制约人工智能的发展。还有一些技术怀疑主义者也发表过类似的言论，比如Roomba扫地机器人和Baxter工业机器人制作背后的原麻省理工学院教授罗德尼·布鲁克斯（Rodney Brooks）。我发现一个很有趣的事实：尽管数字乌托邦主义者和技术怀疑主义者都认为我们无须担心人工智能，但在其他事情上，两者的共同点却少之又少。大部分乌托邦主义者认为，与人类智能水平相当的通用人工智能可能会在20～100年内实现，而技术怀疑主义者认为，这是一种乌托邦式的幻想，他们经常会嘲笑一些人预测的“奇点”(8)，并将其戏谑为“书呆子的臆想”。2014年12月的一个生日宴会上，我遇到了布鲁克斯，他对我说，他百分之百地肯定，奇点不会发生在我的有生之年。“你确定你的意思不是99%？”在后来的一封邮件中，我如此问道。他回复我说：“不是没用的99%。就是100%。奇点根本不会发生。”
人工智能有益运动支持者：人工智能的研究必须以安全为前提
2014年6月，我在巴黎的一家咖啡馆第一次遇到了人工智能先驱斯图尔特·罗素（Stuart Russell），他是典型的英国绅士，彬彬有礼。而且，他能言善辩，思维缜密，语调温和，眼中闪烁着富于冒险的光芒。在我眼中，他仿佛就是斐利亚·福克（Phileas Fogg）的现代版本。福克是儒勒·凡尔纳于1873年的小说《八十天环游地球》中的人物，是我童年时代心目中的英雄。虽然罗素是迄今在世的最著名的人工智能研究者之一，也是人工智能领域的标准教科书的作者之一，但他的谦逊和热情很快让我放松下来。他向我解释说，人工智能领域的进展让他相信，与人类智能水平相当的通用人工智能真的有可能在本世纪内变成现实。尽管他充满希望，但他明白，并不是百分之百会产生好的结果。我们必须先回答一些重要的问题，而这些问题又是非常难以回答的，我们应该从现在就开始研究，这样，到我们需要它们时，手边才会有现成的答案。
今天，罗素的想法比较符合主流的观点。全球各地有许多团队正在进行他支持的人工智能安全性（AI-safety）研究。不过，对人工智能安全性的研究并不是历来如此。《华盛顿邮报》一篇文章将2015年视为人工智能安全性研究进入主流视野的元年。在那之前，对人工智能风险的讨论常常被主流人工智能研究者所误解和忽视，而且，他们将进行人工智能安全性研究的人视为企图阻碍人工智能进步并四处散播谣言的“卢德分子”。我们将在第5章继续探讨这个话题。
实际上，与罗素类似的担忧最早是由计算机先驱艾伦·图灵和数学家欧文·古德在半个世纪之前提出来的，古德与图灵在第二次世界大战中一起破译过德国军事的密码。在过去的10年里，关于人工智能安全性的研究主要由一些独立思想家来完成，比如埃利泽·尤德考斯基（Eliezer Yudkowsky）、迈克尔·瓦萨（Michael Vassar）和尼克·波斯特洛姆（Nick Bostrom），不过，他们并不是专业的人工智能研究者。这些人的研究对主流人工智能研究者影响甚微，因为主流研究者总是聚焦于他们的日常工作——如何让人工智能系统变得更智能，而不是思考如果他们成功了会造成什么样的长期后果。我认识的一些人工智能研究者，即便他们心中略有迟疑，也不太愿意表达出来，因为担心自己会被视为危言耸听的技术恐慌者。
我觉得，这种有失偏颇的情况需要被改变，这样，整个人工智能界才能联合起来，一起讨论如何建造对人类有益的人工智能。幸运的是，我并不是孤身一人在作战。2014年春天，我与我妻子梅亚、我的物理学家朋友安东尼·阿吉雷（Anthony Aguirre）、哈佛大学的研究生维多利亚·克拉科芙娜（Viktoriya Krakovna）以及Skype创始人扬·塔里安（Jaan Tallinn）一起，成立了一个非营利性组织“未来生命研究所”（Future of Life Institute，简称FLI）。我们的目标很简单：保证生命在未来继续存在下去，并尽可能的兴旺发达。具体而言，我们认为，技术赋予了生命一种力量，这种力量要么让生命实现空前的兴盛，要么让生命走向自我毁灭，而我们更青睐前一种。
2014年3月15日，未来生命研究所第一次会议在我家举行，我们开启了一场头脑风暴。大约有30人参加，与会者包括来自波士顿地区的学生、教授和其他思想家。会议在这个问题上达成了广泛的共识，那就是，虽然我们也应该关注生物技术、核武器和气候变化，但我们的第一个主要目标是帮助人工智能安全性研究进入主流视野。我在麻省理工学院物理系的同事、因研究夸克而获得诺贝尔奖的弗兰克·韦尔切克（Frank Wilczek）建议我们，可以从撰写专题文章开始，吸引人们对这个问题的注意力，从而让这个问题变得不容忽视。于是，我向罗素（那时候我还没见过他）和我的物理学同行史蒂芬·霍金寻求帮助，他们二人都同意加入我和韦尔切克，作为共同作者，一起写文章。虽然我们的专题文章改写了很多次，但还是被《纽约时报》等众多美国报纸拒绝，因此，我们将其发表在了我们在《赫芬顿邮报》的博客账号上。令我高兴的是，《赫芬顿邮报》联合创始人阿里安娜·赫芬顿（Arianna Huffington）亲自写来邮件说：“看到这篇文章，我太激动了！我们会把它放在头条的位置上。”于是，这篇文章被放在了主页的顶部，并引发了一大波媒体对人工智能安全性研究的报道，这波热潮一直延续到了当年的年底。埃隆·马斯克、比尔·盖茨等科技界领袖纷纷加入讨论。同年秋天，尼克·波斯特洛姆出版了《超级智能》（Superintelligence）一书，再一次点燃了公众的讨论热情。
在未来生命研究所，人工智能有益运动的下一个目标是让世界顶级的人工智能研究者齐聚一堂，澄清误解，铸就共识，并提出富有建设性的计划。我们知道，想要说服一群享誉全球的科学家来参加一个由外行人组织的会议是很难的，尤其是会议的主题还如此富有争议。因此，为了邀请到他们，我们竭尽了全力：禁止媒体参会；将会议时间安排在2015年1月份，地点安排在波多黎各的一个海滨度假村；免去了一切参会费用。我们给这次会议起了一个我们所能想到的最不危言耸听的标题：“人工智能的未来：机遇与挑战”。多亏我们的团队中有斯图尔特·罗素，因为有他的帮助，我们的组织委员会里才得以加入一批来自学术界和产业界的人工智能领袖，包括人工智能企业DeepMind创始人德米斯·哈萨比斯（Demis Hassabis），正是他，在2017年向人们证明了人工智能可以在围棋中打败人类。我对哈萨比斯了解得越多，就越发现他的热情不仅在于让人工智能变得更强大，还在于让人工智能变得有益于人类。
结果，这是一场心灵的非凡碰撞（见图1-3）。人工智能研究者、顶级经济学家、法律学者、科技领袖等思想家齐聚一堂，这些人中包括埃隆·马斯克和提出了“奇点”（Singularity）这个词的科幻作家弗诺·文奇（Vernor Vinge），我们会在第4章聚焦这个话题。
图1-3 2015年1月的波多黎各会议让各界研究者齐聚一堂
注：2015年1月的波多黎各会议让人工智能及其相关领域的研究者齐聚一堂。后排从左到右分别是：汤姆·米切尔（Tom Mitchell）、肖恩·奥黑格尔忒（Seán Ó hÉigeartaigh）、休·普莱斯（Huw Price）、沙米勒·钱德拉（Shamil Chandaria）、扬·塔里安、斯图尔特·罗素、比尔·希巴德（Bill Hibbard）、布莱斯·阿奎拉·阿克斯（Blaise Agüera y Arcas）、安德斯·桑德伯格（Anders Sandberg）、丹尼尔·杜威（Daniel Dewey）、斯图尔特·阿姆斯特朗（Stuart Armstrong）、卢克·米尔鲍尔（Luke Muehlhauser）、汤姆·迪特里奇（Tom Dietterich）、迈克尔·奥斯本（Michael Osborne）、詹姆斯·玛尼卡（James Manyika）、阿杰伊·阿格拉沃尔（Ajay Agrawal）、理查德·马拉（Richard Mallah）、南希·钱（Nancy Chang）、马修·帕特曼（Matthew Putman）；其他站着的人，从左到右分别是：玛丽莲·汤普森（Marilyn Thompson）、里奇·萨顿（Rich Sutton）、亚历克斯·威斯纳-格罗斯（Alex Wissner-Gross）、山姆·特勒（Sam Teller）、托比·奥德（Toby Ord）、乔沙·巴赫（Joscha Bach）、卡特娅·格蕾丝（Katja Grace）、阿德里安·韦勒（Adrian Weller）、希瑟·罗夫-珀金斯（Heather Roff-Perkins）、迪利普·乔治（Dileep George）、谢恩·列格（Shane Legg）、丹米斯·哈萨比斯、文德尔·华莱士（Wendell Wallach）、查莉娜·蔡（Charina Choi）、伊利娅·苏特斯科娃（Ilya Sutskever）、肯特·沃克（Kent Walker）、塞西莉亚·蒂莉（Cecilia Tilli）、尼克·波斯特洛姆、埃里克·布莱恩约弗森（Erik Brynjolfsson）、史蒂夫·格罗桑（Steve Crossan）、穆斯塔法·苏莱曼（Mustafa Suleyman）、斯科特·菲尼克斯（Scott Phoenix）、尼尔·雅各布斯坦（Neil Jacobstein）、穆里·沙纳汉（Murray Shanahan）、罗宾·汉森（Robin Hanson）、弗朗西斯卡·罗西（Francesca Rossi）、纳特·索尔斯（Nate Soares）、埃隆·马斯克、安德鲁·麦卡菲（Andrew McAfee）、巴尔特·塞尔曼（Bart Selman）、米歇尔·赖丽（Michele Reilly）、阿伦·范德文德（Aaron VanDevender）、迈克斯·泰格马克、玛格丽特·博登（Margaret Boden）、约舒亚·格林（Joshua Greene）、保罗·克里斯蒂亚诺（Paul Christiano）、埃利泽·尤德考斯基、戴维·帕克斯（David Parkes）、劳伦特·奥尔索（Laurent Orseau）、施特劳贝尔（JB Straubel）、詹姆斯·穆尔（James Moor）、肖恩·勒加斯克（SeanLegassick）、马森·哈特曼（Mason Hartman）、豪伊·伦珀尔（Howie Lempel）、戴维·弗拉德克（David Vladeck）、雅各布·斯坦哈特（Jacob Steinhardt）、迈克尔·瓦萨、瑞安·卡洛（Ryan Calo）、苏珊·杨（Susan Young）、欧文·埃文斯（Owain Evans）、莉娃-梅丽莎·泰兹（Riva-Melissa Tez）、亚诺士·克拉玛（János Krámar）、杰夫·安德斯（Geoff Anders）、弗诺·文奇、安东尼·阿奎尔。前排蹲着的人分别是：山姆·哈里斯（Sam Harris）、托马索·波吉奥（Tomaso Poggio）、马林·索里亚彻克（Marin Soljačić）、维多利亚·克拉科芙娜、梅亚·奇塔-泰格马克（Meia Chita-Tegmark）；相机后面的人是：安东尼·阿奎尔（他旁边那个人类水平的智能把他PS进了照片里。）
这次会议的结果超过了我们最乐观的预期。或许，是因为有阳光与红酒的相伴，又或许，是因为时机正好。尽管话题很有争议，但我们最后还是达成了一份了不起的共识。我们将共识的详细内容写入了一封公开信[1]，最后有8 000多人签名，其中涵盖了名副其实的“人工智能名人谱”。公开信的主旨是，我们应该重新定义人工智能的目标：创造目标有益的智能，而不是漫无目标的智能。公开信还提到了一份研究课题列表。参会者都同意，这些课题能进一步推进上述目标。人工智能有益运动开始逐步进入主流社会。在本书之后的章节中，我们将会介绍该运动的后续进展。
这个会议的另一个重要收获是：人工智能的成功所引发的问题不仅在智识上令人着迷，而且在道德上也非常重要，因为我们的选择可能会影响生命的整个未来。在历史上，人类所做出的选择的伦理意义固然很重要，但却时常受到限制：我们能从最严重的瘟疫中恢复，但最雄伟的帝国最终也会分崩离析。在过去，人们知道，无论什么时候，人类都会面临常年不断的灾害，比如贫穷、疾病和战争，这个事实就像太阳早晨一定会升起一样肯定，因此，我们必须想尽办法解决这些问题。不过，波多黎各会议上的一些发言人称，现今面临的问题可能和以前不一样。他们说，这是历史上头一遭，我们或许能发明出足够强大的科技，可以将那些灾害永久性地清除出去；又或者，它也可能将人类推向末日。我们可能会在地球上甚至地球之外构建出一个空前繁荣的社会，同时也可能会让全世界都处于强大的卡夫卡式的监控之下。
图1-4 埃隆·马斯克和汤姆·迪特里奇
注：尽管媒体经常将马斯克描绘得与人工智能界格格不入，但其实，他们基本同意人工智能安全性研究是必要的。这张照片拍摄于2015年1月4日，在照片里，美国人工智能协会（Association for the Advancement of Artificial Intelligence，简称AAAI）主席汤姆·迪特里奇听说，马斯克前段时间资助了一项新的人工智能安全性研究项目，两人的兴奋之情溢于言表。未来生命研究所创始人梅亚·奇塔-泰格马克和维多利亚·克拉科芙娜“潜伏”在他们后面。
关于人工智能的三大误区
当离开波多黎各时，我坚信关于人工智能未来的对话应该持续下去，因为这是我们这个时代最重要的对话(9)。这场对话关乎我们所有人的未来，不应该只局限于人工智能研究者参与。这就是我写这本书的原因：
我希望你，我亲爱的读者，也能够加入这场对话。你想要什么样的未来？我们应不应该开发致命的自动化武器？你希望职业自动化发展成什么样？你会对今天的孩子提供哪些职场建议？你更希望看到新职业取代旧职业，还是一个不需要工作的社会，在那里，人人都可以享受无尽的闲暇时光和机器创造出来的财富？再进一步，你是否希望我们创造出生命3.0，并把它散播到宇宙各处？我们会控制智能机器，还是仅被它们控制？智能机器会取代我们，与我们共存，还是会与我们融为一体？人工智能时代，作为“人”，究竟意味着什么？你又希望它意味着什么？我们如何才能让未来变成自己想要的样子？
《生命3.0》这本书的目的是帮助你加入这场对话。正如我在前面所说，关于人工智能，存在许多迷人的争议，世界顶级专家们也难以达成共识。不过，我也见过许多无聊的“伪争议”，究其原因就是，有些人只是误解了对方的意思，所以各执一词，互不相让。为了帮助我们聚焦在那些最有趣的争议和开放式的问题之上，而不是在误解上继续纠缠，让我们先来澄清一些最常见的误解。
我们平时经常使用“生命”“智能”和“意识”这类词语，但它们其实存在许多不同的定义。有时候，人们并没有注意到，当他们使用这些词语时，表达的意思却各不相同，所以许多误解由此而生。为了避免你我也掉入这个陷阱，在表1-1中，我列举了在本书中我提到这些词时所表达的意思，作为备忘。其中一些定义，我到后面的章节中才会正式地介绍和解释。请注意，我并不是说我的定义比其他人的更好，我只是想在这里澄清我想表达的意思，以避免被误解。你将看到，我通常会把某个东西的定义下得广一些，让它们不仅可以用在人类身上，也可以用在机器身上，以避免“人类中心主义”的偏见。请你现在看一看这张备忘表。如果你在读后面的章节时，对某些词的定义感到困惑，也希望你回到这张表，再看一看，特别是读到第4～8章时。
表1-1 名词备忘表
续前表
注：关于人工智能的许多误解都是由人们对上述词语的不同定义造成的，这个表中列举的是我在《生命3.0》这本书里对它们的定义，其中一些词语，我在后面的章节才会正式地介绍和解释。
除了词汇上面的混淆，我还见过许多与人工智能有关的对话，因为一些简单的误区而走上歧路。下面我来澄清一些最常见的误区。
时间线的误区：通用人工智能什么时候会出现
第一个误区与图1-2中的时间线有关：究竟什么时候，机器才能进化为极大超越人类水平的通用人工智能呢？一个常见的误区是（如图1-5所示），认为这个问题的答案十分确定。
图1-5 关于超级智能的常见误区
一个流行的错误观点是，超人类水平的通用人工智能一定会在21世纪内实现。实际上，历史上充满了天花乱坠的技术宣言。核聚变发电厂和飞天汽车在哪儿呢？照某些人的承诺，这些东西应该早就实现了。同样地，人工智能在过去也被一次又一次地吹捧上天，始作俑者甚至包括一些人工智能的奠基者，比如，提出了“AI”这个概念的约翰·麦卡锡、马文·明斯基(10)、纳撒尼尔·罗切斯特和克劳德·香农一起写出了下面这段过于乐观的预言(11)，当时，他们打算用“石器时代”的计算机大干两个月，来实现一些目标：
1956年夏天，我们将在达特茅斯学院进行一项由10个人组成的为期两个月的人工智能研究……研究的主题是：如何让机器使用语言、进行抽象思考和形成概念，让它们解决目前只能由人类解决的问题，并自我改善。我们认为，如果仔细甄选一些科学家，组成一个团队，在一起工作一个夏天，就能在一个或多个问题上取得重大进展。
然而，与此相反的另一个流行的错误观点是，超人类水平的通用人工智能在21世纪内一定不会实现。关于我们离实现它还有多远，研究者的评估范围很广泛，但我们并不能信誓旦旦地肯定21世纪内实现它的可能性为零。技术怀疑主义者曾做出过许多令人沮丧的消极预测，后来也被证明不符合事实。欧内斯特·卢瑟福（Ernest Rutherford）可能是他那个年代最伟大的原子核物理学家，他在1933年说，核能就是一派空谈，而不到24小时，美国原子核物理学家利奥·西拉德（Leo Szilard）就创造了核链式反应；1956年，英国皇家天文学家理查德·伍利（Richard Woolley）认为，太空旅行“完全是一派胡言”。这个误区最极端的观点是认为超人类水平的通用人工智能永远不会到来，因为在物理学上不可能实现。然而，物理学家知道，大脑中的夸克和电子组合起来不正像一台超级计算机吗？并且，没有哪个物理定律说我们不能建造出比大脑更智能的夸克团。
有人对人工智能研究者进行了一些调查，请他们预测多少年之后，人类水平的通用人工智能实现的可能性将达到至少50%。所有这些调查的结果都一样：世界顶级专家各执一词，因此我们根本不知道答案。在波多黎各会议上，我们也进行了一次这样的调研，答案的平均数是2055年，但有些研究者认为需要几百年，甚至更久。
还有一个相关的误区是，认为担忧人工智能的人总以为它不出几年就会降临。实际上，有记录显示，大多数担忧超人类水平的通用人工智能的人都认为，它至少还有几十年才会实现。不过，他们认为，只要我们并不是百分之百肯定，它一定不会发生在21世纪内，那么最好尽快开展人工智能安全性研究，防患于未然。我们在本书中会读到，许多安全问题的解决是非常困难的，可能需要几十年的时间才能解决。因此，最好从现在就开始进行研究，才是明智之举，而不是等到某些猛灌红牛的程序员决定开启一个人类水平的通用人工智能的前夜才开始亡羊补牢。
关于争议的误区：“卢德分子”不是唯一的担忧者
第二个常见的误区是，认为唯一对人工智能怀有忧虑并支持人工智能安全性研究的一类人，都是对人工智能一窍不通的“卢德分子”。当斯图尔特·罗素在波多黎各的演讲中提到这件事时，观众笑成一片。还有一个相关的误区是，认为支持人工智能安全性研究会招致极大的争议。实际上，若想适度地支持人工智能安全性研究，人们并不需要确认风险是否很高，只需要相信风险不容忽视就行了，就像人们适度地投资房屋保险，只是因为他们认为火灾的可能性不容忽视罢了。
经过我个人的分析发现，媒体报道夸大了人工智能安全性辩论的争议程度。不过，恐惧能带来经济效益。许多宣告世界末日即将来临的文章都是断章取义，但比起那些更微妙平和的文章来说，它们能获得更高的点击率。结果就是，假如辩论双方只从媒体的引述中获悉对方的观点，通常就会高估他们之间的分歧程度。比如，如果一个技术怀疑主义者只从英国通俗小报那里了解比尔·盖茨的观点，那他很可能会错误地认为，盖茨相信超级智能很快就要来临了。同样地，人工智能有益运动支持者如果只知道吴恩达说了“火星人口过剩”这句话，那他也可能会错误地认为，吴恩达完全不关心人工智能的安全性问题。实际上，我知道吴恩达很关心这个问题，只不过，由于他预估的时间长一点，所以他很自然地将人工智能面临的短期挑战放在比长期挑战更重要的位置上。
关于风险类别的误区：不是被赶尽杀绝，而是失去控制权
当我在《每日邮报》[2]上读到一篇题为“史蒂芬·霍金警告说，机器人的崛起对人类可能造成灾难性的破坏”的头条报道时，我翻了个白眼。我已经数不清这是第几次看到类似的标题了。通常情况下，文章里还会配一张一看就很邪恶的机器人拿着武器的图片，并建议我们应该担忧机器人的崛起，因为它们可能会产生意识并且变得邪恶，然后把我们赶尽杀绝。值得一提的是，这样的文章确实令人印象深刻，因为它们简洁地总结了我的人工智能同行们不会担心的情景。这个情景集合了三个不同的误区，分别是对意识、邪恶和机器人的理解。
当你开车时就会发现，你拥有对颜色、声音等东西的主观体验。但是，一辆无人驾驶汽车是否会拥有主观体验呢？它会不会感觉到作为一辆无人驾驶汽车的感觉？或者，它只是一个没有任何主观体验的无意识“僵尸”？诚然，关于意识的谜题本身是很有趣的，我们将在第8章讨论这个问题，但是，这个问题与人工智能的风险毫无关系。如果你被一辆无人驾驶汽车撞到，它有没有主观意识对你来说没什么两样。同样地，超级智能究竟会如何影响我们人类，只取决于它会做什么，而不取决于它主观上感觉到了什么。
因此，对邪恶机器的恐惧，也没那么重要。我们真正应该担心的不是它们有没有恶意，而是它们的能力有多强。从定义上来说，一个超级智能会非常善于实现自己的目标，不管这个目标是什么，因此，我们需要确保它的目标与我们的相一致。举个例子，你可能并不讨厌蚂蚁，也不会出于恶意踩死蚂蚁，但如果你正在负责一个绿色能源的水电项目，在即将淹没的区域里有一处蚁穴，那么，这些蚂蚁便凶多吉少了。人工智能有益运动的目的就是要避免人类处在这些蚂蚁的境地。
对意识的误解与认为“机器不能拥有目标”这一误区有关。狭义地看，机器显然能拥有目标，因为它们能展现出目标导向行为：热跟踪导弹的行为就是为了实现“击中靶标物”这一目标。如果一台目标与你的目标不一致的机器令你感受到了威胁，那么，狭义地说，令你担忧的正是它的目标，而不是它拥有意识或体验到了意志。如果一枚热跟踪导弹正在向你袭来，你肯定不会大喊：“我一点儿也不担心，因为机器不能拥有目标！”
通俗小报对人工智能危言耸听的“妖魔化”，令罗德尼·布鲁克斯等机器人先驱感到很不公平。在这点上，我很同情他们，因为一些记者确实十分执着于“机器人叛乱”的题材，并且喜欢在文章中配上眼睛血红的邪恶的金属机器人的图片。实际上，人工智能有益运动支持者最担忧的并不是机器人，而是智能本身：尤其是那些目标与我们的目标不一致的智能。这种与我们的目标不一致的智能要引发我们的忧虑，并不需要一个机器人的身体，只需要连接互联网即可。我们将在第4章探讨互联网将如何让人工智能在金融市场上比人类更聪明，获得比人类研究者更高的投资回报率，比人类领袖更善于权谋，并开发出我们无法理解的武器。即使不能建造出实体的机器人，一个超级智能和超级富有的人工智能也能很轻易地收买或操纵大量人类，让他们在不知不觉中执行自己的命令，就像威廉·吉布森（William Gibson）的科幻小说《神经漫游者》（Neuromancer）中所描绘的那样。
对机器人的误解源自“机器不能控制人类”的误区。智能让控制成为可能：人类能控制老虎，并不是因为我们比老虎强壮，而是因为我们比它们聪明。这意味着，如果我们不再是地球上最聪明的存在，那么，我们也有可能会失去控制权。
图1-5总结了这些常见的误区，这样我们就可以一次性地抛弃它们，并把我们与朋友和同行讨论的焦点集中在那些合情合理的争议上。我们接下来将看到，这些争议可一点儿都不少！
前路几何
在本书接下来的篇章里，我们将一起探索有着人工智能相伴的生命的未来。让我们用一种组织有序的方式来探讨这个丰富而又包罗万象的话题。首先，我们将在概念和时间维度上探索生命的完整故事，接着，我们会探索目标和意义，以及要如何采取行动才能创造出我们想要的未来。
在第2章中，我们会探索智能的基础，以及看似愚钝的物质如何组合出能够记忆、计算和学习的形式。随着我们对未来的探讨变得越来越深入，我们的故事将出现许多不同的分支，每个分支则会对应着各不相同的情景。会出现哪种情景，取决于我们如何回答某些关键问题。图1-6总结了我们在人工智能越来越发达的过程中将会遇到的关键问题。
如今，我们面临的问题是：应不应该进行人工智能军备竞赛，以及如何才能让明天的人工智能系统不出故障和保持稳定。如果人工智能的经济影响日益增长，我们还需要考虑如何修改法律，以及我们应该为孩子们提供什么样的就业建议，以免他们选择那些很快会被自动化取代的工作。我们将在第3章中讨论这些短期问题。
如果人工智能发展到人类水平，我们还需要想一想如何保证它对人类有益，以及我们能不能或者应不应该创造出一个不需要工作就能保持繁荣的休闲社会。这也提出了另一个问题：智能爆炸或者缓慢但稳定的增长会不会创造出远超过人类水平的通用人工智能？我们会在第4章对许多这样的情景进行探讨，并在第5章讨论在这之后可能会发生什么事情，范围从可能的乌托邦情景一直延伸到反乌托邦情景。谁会处在统治地位？是人类、人工智能，还是赛博格(12)？人类会得到温和还是残暴的对待？我们是否会被取代？如果被取代，我们会把取代我们的东西视为征服者，还是后裔？我很好奇你会喜欢第5章中的哪一种情景，因此，我建了一个网站（http://AgeOfAi.org），你可以在这里分享自己的看法，参与讨论。
在第6章，我们会穿越到几十亿年后的未来。具有讽刺意味的是，我们在那里会得出一些比前几章更强的结论：因为我们宇宙中的生命的最终极限取决于物理定律，而不取决于智能。
图1-6 人工智能的发展带来的关键问题
注：哪些人工智能的问题会很有趣，取决于人工智能发展到什么水平，以及我们的未来会走上哪一条支路。
对智能历史的探索终结之后，我们将用本书余下的部分来探讨我们应该朝着什么样的未来前进，以及如何实现它。为了将冷冰冰的事实与意志和意义联系起来，我们将在第7章和第8章分别探讨目标和意识的物理基础。最后，在尾声部分，我们将讨论当下应该做些什么，才能创造出我们想要的未来。
如果你读书时喜欢跳过一些章节，那么你需要知道的是，只要你理解了第1章和下一章开头部分给出的名词解释及定义，后面的大部分章节都是相对独立的。如果你是一个人工智能研究者，你完全可以跳过第2章，除了最开始对智能进行定义的部分。如果你是最近才燃起对人工智能的兴趣，那第2章和第3章会让你明白，为什么第4～6章的内容不容忽视，更不能被视为不可能发生的科幻故事。图1-7列举了每一章的推测程度的高低。
图1-7 《生命3.0》的结构
一段精彩的旅程正在等待着我们，让我们出发吧！
本章要点
生命的定义是，一个能保持自身复杂性，并进行复制的过程。生命的发展会经历三个阶段：硬件和软件都来自进化的生物阶段，即生命1.0；能够通过学习自己设计软件的文化阶段，即生命2.0；自己设计硬件和软件，并主宰自我命运的科技阶段，即生命3.0。
人工智能或许能让我们在21世纪内进入生命3.0阶段。我们应该朝着什么样的未来前进，以及如何才能实现这个未来？这个问题引发了一场精彩的对话。这场辩论中有三个主要的阵营：技术怀疑主义者、数字乌托邦主义者和人工智能有益运动支持者。
技术怀疑主义者认为，建造超人类水平的通用人工智能相当困难，没有几百年的时间根本无法实现。因此，现在就开始担心这个问题和生命3.0是杞人忧天。
数字乌托邦主义者认为，21世纪就有可能实现生命3.0。并且，他们全心全意地欢迎生命3.0的到来，把它视为宇宙进化自然而然、令人期待的下一步。
人工智能有益运动支持者也认为，生命3.0有可能会在21世纪内实现，不过他们不认为它一定会带来好结果。他们认为，若想保证好的结果，就必须进行艰苦的人工智能安全性研究。
除了这些连世界顶级专家都无法达成共识的合理争议，还有一些无聊的“伪争议”，是由误解所导致的。比如，如果你不能保证和自己的辩论对手在谈及“生命”“智能”“意识”这些词时，表达的意思是相同的，那么千万不要浪费时间争论这些话题。本书对这些词的定义参见表1-1。
请一定注意图1-5中的误区：超级智能到2100年必将实现或不可能实现。只有“卢德分子”才会担心人工智能；我们应该担忧人工智能变得邪恶或拥有意识，而这一定会在几年内发生；机器人是最大的威胁；人工智能不可能控制人类，也不可能拥有目标。
在第2～6章，我们将探索关于智能的故事，从几十亿年前卑微的开端，一直到几十亿年后在宇宙范围内的可能未来。首先，我们将探讨一些短期的挑战，比如就业、人工智能武器和对人类水平的通用人工智能的开发；接着，我们将讨论关于智能机器和人类未来的一系列迷人的可能性。我很想知道你青睐哪一种未来！
在第7章和第8章，我们将不再描述冷冰冰的事实，而是转而探索关于目标、意识和意义的话题，并讨论我们现在可以做些什么来实现我们想要的未来。
我认为，有人工智能相伴的生命未来是我们这个时代最重要的对话。请加入这场对话吧！
在宇宙大爆炸发生之后的138亿年中，最不可思议的事情之一就是，荒芜一片、了无生机的物质之中竟然产生了智能。这究竟是如何发生的？未来会变成什么样？从科学的角度出发，应该如何讲述宇宙中智能的历史与命运？为了解决这些问题，这一章我们先来探索智能的构成要素和基础。那么，说一团物质拥有智能，到底意味着什么？说一个物体能记忆、计算和学习，又意味着什么？
什么是智能
最近，我和我的妻子梅亚很幸运地参加了一个由瑞典诺贝尔基金会举办的人工智能研讨会。在会议中，那些顶尖的人工智能研究者在“什么是智能”这个问题上展开了一场冗长的讨论，最后却未能达成共识。我们觉得这件事很有趣：居然连人工智能研究者也无法就“什么是智能”达成一致意见！因此，关于智能，显然不存在一个无可辩驳的“正确”定义。相反，有许多不同的定义在互相竞争，“参战”的定义有逻辑能力、理解能力、计划能力、情感知识、自我意识、创造力、解决问题的能力和学习能力等。
在这场关于智能未来的探索中，我们想采用一个最广泛、最兼容并包的观点，而不想局限于目前已知的智能范围。这就是为什么我会在第1章对智能下一个很广的定义，并在本书中用一种很宽泛的方式来使用这个词的原因。
智能（intelligence）：完成复杂目标的能力。
这个定义很广，足以涵盖前文提到的所有定义，因为理解力、自我意识、解决问题的能力、学习能力等都属于我们可能会遇到的复杂目标。同时，这个定义还能将《牛津英语词典》中的定义“获得和应用知识与技能的能力”也涵盖进去，因为你也可以将“应用知识与技能”作为一个目标。
由于可能存在许多不同的目标，因此，也可能存在许多不同的智能。所以，从我们的定义出发，用IQ这种单一指标来量化人类、动物或机器是没有意义的(13)。假设有两个计算机程序，一个只会下象棋，另一个只会下围棋，请问哪一个更智能？这个问题并没有标准答案，因为它俩各自擅长的事情没法进行直接的比较。不过，假如存在第三个计算机程序，它能够完成所有目标，并且，它在某一个目标上，比如下象棋，做得远比前面所说的两个程序都好，而且在其他目标上完成得也不比它们差，那我们就可以说，第三个程序比前面两个程序更加智能。
另外，争论某些边缘化的例子是否具备智能，也没什么意义，因为能力不是非黑即白、非有即无的，而是分布在一个连续谱上。举个例子，什么样的人算得上能说话？新生儿？不能。电台主持人？能。但是，假如一个幼童能说10个词，她算不算得上能说话？如果她会500个词呢？界限应该划在何处？在我所说的智能定义中，我特意用了一个很模糊的词——复杂，因为人为地在智能和非智能之间画一条界线是于事无补的，不如对不同目标所需的能力进行量化，可能会更有用一些。
对智能进行分类，还有一种方法，那就是用“狭义”（narrow）和“广义”（broad）来进行区分。IBM公司的深蓝（Deep Blue）计算机虽然在1997年战胜了国际象棋冠军加里·卡斯帕罗夫（Garry Kasparov），但它能完成的任务范围非常“狭窄”，因为它只能下象棋，尽管它的硬件和软件都令人印象深刻，但它甚至不能在井字棋游戏中战胜一个4岁的儿童。谷歌旗下DeepMind公司的“DQN”人工智能系统能完成的任务范围稍微广一点：它会玩几十种经典的雅达利电子游戏，并且玩的水平与人类的水平不相上下，甚至更好。相比之下，人类智能的宽度可比它们广多了，人类能掌握多如牛毛的技能。只要经过训练，假以时日，一个健康的儿童不仅能够学会任何游戏，还能学会任何语言、运动或职业技能。将人类智能和机器智能做个比较，我们人类会在宽度上立马胜出。不过，机器在某些比较狭窄的任务上胜过了我们，这些任务虽然小，但数量却在与日俱增。我在图2-1中列出了这些任务。人工智能研究的“圣杯”就是建造最广泛的通用人工智能，它能够完成任何目标，包括学习。我们将在第4章详细探讨这个话题。“通用人工智能”这个词变得流行起来，得感谢三位人工智能研究者：沙恩·莱格（Shane Legg）、马克·古布鲁德（Mark Gubrud）和本·戈策尔（Ben Goerzel），他们用这个词来形容人类水平的通用人工智能，即能够完成任何目标并且完成得与人类不相上下的能力[1]。我将遵照他们的定义。因此，每次我使用通用人工智能时，都是在说“人类水平的通用人工智能”(14)，除非我明确地在这个缩写前面加上了形容词，比如超人类水平的通用人工智能。
图2-1 人工智能可以胜出人类的任务
注：智能的定义是，完成复杂目标的能力。它不能用单一的IQ指标来衡量，只能用一个由所有目标组成的能力“谱”来衡量。箭头指的是当今最好的人工智能系统在不同目标上的表现。通过这张图可以看出，当今人工智能的能力总是比较“狭窄”，每个系统只能完成非常特定的目标。与之相比，人类智能则非常宽广：一个健康儿童能学会做任何事情，而且在所有事情上都做得比人工智能更好。
虽然人们在使用“智能”这个词时，总是倾向于带有积极正面的色彩，但我想强调的是，在本书中使用“智能”这个词时，我不会做任何价值判断，它就是完成复杂目标的能力，而无论这个目标被认为是好的还是坏的。因此，一个智能的人可能非常擅长帮助他人，也可能擅长伤害他人。我们将在第7章探讨有关目标的问题。说到目标，我们还需要澄清一个微妙的问题，那就是：我们所说的目标，究竟是谁的目标？假设在未来，你拥有了一台全新的个人机器助理，它虽然没有自己的目标，但会完成你安排给它的任何事情。某一天，你叫它为你做一顿美味的意大利晚餐，然后，它上网搜索了意大利菜的菜谱，了解了如何到达最近的超市、如何煮意大利面等问题，最后成功地买来了所需的原料，并为你烹制了一顿美味的晚餐。那么，你可能会认为它是智能的，即使最原始的目标其实是你的。实际上，当你提出要求时，它就继承了你的目标，并将其分解成几层子目标，从付钱给收银员到磨碎帕尔玛干酪，而这些子目标都是属于它自己的。从这个层面来看，智能行为毫无疑问是与达成目标联系在一起的。
