另一个重要的推动力来自对恶劣环境的探索，如对地球上深海的探索，以及对太空的探索。人体很难适应温度、压力和大气成分的狭窄范围之外的条件。它还需要多种特定的、复杂的营养物和充足的水。此外，它没有抗辐射功能。正如载人航天计划充分证明的那样，在地面舒适区之外维持人类生命是非常困难的，而且代价昂贵。在这些探索中，半机械人或自主人工智能可能会更有效。量子人工智能对噪声极敏感，它在寒冷、黑暗的深度空间可能会更快乐。
奇特的天才科幻小说家奥拉夫·斯塔普雷顿（Olaf Stapledon）在他1935年的小说《怪约翰》（Odd John）中写下了一段感人的话。小说中的英雄，一个突变超人，将我们智人形容为“精神的始祖鸟”。他充满深情地把这句话说给他的朋友和传记作家听，而后者是一个普通的人类。始祖鸟是一种高贵的动物，它能进化成更高级的生物。
08 让我们心怀渴望，超越自我 LET’S ASPIRE TO MORE THAN MAKING OURSELVES OBSOLETE
We should analyze what could go wrong with AI to ensure that it goes right.
我们应该分析人工智能可能会出什么问题，以确保它能正常运行。
迈克斯·泰格马克
Max Tegmark
迈克斯·泰格马克是麻省理工学院物理学家、人工智能研究者、未来生命研究所所长、基础问题研究所的科学主任。著有《穿越平行宇宙》（Our Mathematical Universe）和《生命3.0》（Life 3.0: Being Human in the Age of Artificial Intelligence）。
注：迈克斯·泰格马克的著作《生命3.0》中文简体字版已由湛庐文化策划，浙江教育出版社出版。——编者注
布罗克曼谈迈克斯·泰格马克
几年前，经暴胀宇宙之父阿兰·古斯（Alan Guth）的介绍，我有幸结识了迈克斯·泰格马克。迈克斯·泰格马克与阿兰·古斯是麻省理工学院的同事。迈克斯是一位杰出的理论物理学家和宇宙学家，他现在最关心的问题是创造通用人工智能会给人类带来的生存危机。4年前，迈克斯与扬·塔里安和其他人共同创办了未来生命研究所，该研究所自称是“一个推广组织，致力于确保未来最强大的技术会造福于人类”。在伦敦的一次图书推广活动期间，他正在筹划未来生命研究所。他承认参观完伦敦科学博物馆，看完博物馆里陈列的人类科技成就后，在地铁站流下了眼泪。所有这些令人印象深刻的进步难道都将归于一场空吗？
未来生命研究所的科学顾问委员会包括埃隆·马斯克、弗兰克·维尔切克、乔治·丘奇、斯图尔特·罗素和牛津大学哲学家尼克·波斯特洛姆。尼克曾梦想过一个思想实验，这个实验常常被引用。该实验里有一个明显是善意的通用人工智能，它只是按照命令行事，却把世界变成了一个只有回形针别无他物的地方。该研究所赞助了关于人工智能安全问题的会议（2015年在波多黎各，2017年在阿西洛玛），并在2018年发起一次奖金竞赛，竞赛重点放在能够最大限度地发挥通用人工智能的社会效益的研究上。
虽然有时外行人会认为迈克斯有些危言耸听，但就像弗兰克·维尔切克一样，迈克斯相信，在一个极大受益于通用人工智能的未来世界，如果我们人类做出努力，就可以使得人类物种不被排斥在外。
尽管关于人工智能将如何以及何时对人类产生影响存在很大争议，但从宇宙的角度来看，情况更加清晰：在地球上进化出的不断发展技术的生命正不计后果地快速使自身变得过时。这让我感到尴尬，因为如果我们敢于走上一条更加雄心勃勃的道路，我们就能创造出令人惊叹的机遇，让人类达到前所未有的繁荣。
我们的宇宙诞生138亿年后，开始有了自我意识。在一颗蓝色的小小行星上，我们宇宙中微小的有意识的部分已经发现，他们曾经认为是存在的总和的东西原来只是更为宏伟事物中的一小部分：太阳系位于有1000亿个其他星系的宇宙中的一个星系里，这些星系排列成复杂的星系群、星系团和超星系团。
意识是宇宙的觉醒，它把我们的宇宙从一个没有自我意识的机械的僵尸转变成一个包含自我反省、美丽、希望、意义和目标的有生命的生态系统。如果这种觉醒从未发生过，我们的宇宙将毫无意义，它只是一个巨大的空间浪费。如果因为一些宇宙灾难或自我造成的不幸而使我们的宇宙永久地回到睡眠状态中，它将再次变得毫无意义。
不过，事情也可能会变得更好。我们还不知道人类是否是宇宙中唯一的天文爱好者，甚或是第一个天文爱好者，但我们已经非常了解我们的宇宙，知道它有可能达到比迄今为止表现出来的更高的唤醒程度。像诺伯特·维纳这样的人工智能先驱已经告诉我们，进一步唤醒宇宙处理和体验信息的能力并不需要数以万年计的额外进化，而可能只需要人类科学几十年的创造力。
我们可能就像你今早从睡梦中醒来时所经历的第一丝自我意识，预示着当你睁开眼睛完全醒来时，会有更多的自我意识。也许超级人工智能会使生命遍布整个宇宙，繁衍数十亿或数万亿年——也许这之所以能实现，是因为在这个星球上，在我们的有生之年，我们所做的那些决定。
又或者因为某些我们自己造成的灾难，人类可能很快就会灭绝。这些灾难是由于我们的技术力量增长太快，以至于我们没有足够的智慧去掌控它。
关于人工智能社会影响的争论
许多思想家把超级智能这个概念贬低为科幻小说，因为他们认为智能是一种神秘的东西，只能存在于生物有机体，尤其是人类中，他们还认为这种智能从根本上限制了今天的人类能做什么。但是，从我作为物理学家的角度来看，智能只是由四处移动的基本粒子所进行的某种信息处理，没有任何物理定律表明人类不能制造出在任何方面都比我们具有更高级智能的机器，这种机器能孕育宇宙生命。这表明，我们仅仅看到了智能的冰山一角，存在这么一种惊人的可能性：也许我们能释放出自然界中所蕴藏的全部智能，利用它来帮助人类繁荣发展，或挣扎求生。
其他人，包括本书中的一些作者，不赞成创造通用人工智能这种至少能够像人类一样完成任何认知任务的实体，不是因为他们认为这在物理学上不可行，而是因为他们认为人类很难在不到一个世纪的时间里完成此举。由于最近的科技突破，在专业的人工智能研究者中，这两种不赞成的观点都只有少数人支持。人们强烈希望在一个世纪内实现通用人工智能，预测中值显示我们只需几十年的时间便可实现。根据最近一项由文森特·米勒（Vincent Müller）和尼克·波斯特洛姆对人工智能研究者所做的调查，结论是：
研究结果揭示了专家们的观点，超过50%的被调查者认为人工智能系统可能在2040—2050年达到总体人类能力，并且有90%的可能性在2075年实现。在达到人类能力之后，它将在2年（10%的被调查者认为）到30年（75%的被调查者认为）之后实现超级智能。(18)
从数十亿年的宇宙角度来看，究竟30年还是300年后实现通用人工智能几乎没什么区别，所以让我们把重点放在含义上，而不是时间上。
一开始，我们人类发现了如何用机器复制一些自然过程，制造出我们自己的热、光和机械马力。渐渐地，我们意识到自己的身体也是机器，神经细胞的发现模糊了身体与心灵之间的界限。最后，我们开始建造机器，它不仅能超越我们的肌肉，还能超越我们的大脑。在许多狭隘的认知任务领域，从记忆、算术到玩游戏，我们人类已经在机器面前黯然失色，而在更多的领域，从开车到投资再到医疗诊断，机器正在超越我们人类。如果人工智能团队成功地实现其创建通用人工智能的初始目标，那么，人类在所有认知任务中将完败于人工智能。
这引出许多显而易见的问题。例如，会有什么人或什么物控制通用人工智能控制地球？我们应该控制超级智能机器吗？如果答案是否定的，我们能确保它们理解、接受并保留人类价值观吗？正如诺伯特·维纳在《人有人的用处》一书中所说的：
如果我们让机器决定我们的行为，除非我们事先审查过它的行为规律，并充分知道它的行为将按照我们可接受的原则进行，否则我们就有祸了！另一方面，可以学习、可以根据其学习做出决定的机器，绝不会被迫做出人类本该做出的决定，也不会被迫做出人类可接受的决定。
谁是“我们”？谁来判定什么是“可接受的决定”？即使未来的力量决定帮助人类生存和繁荣，但如果做什么都不需要我们，那我们如何才能找到生活的意义和目的？
在过去几年，关于人工智能的社会影响的争论有了巨大的变化。2014年，很少有人公开谈论人工智能的风险，即便有，也往往被驳斥为卢德式的杞人忧天，原因在于两个逻辑上不相容的理由：
1.通用人工智能被过分夸大，至少在下个世纪并不会出现通用人工智能。
2.通用人工智能可能会出现得更早，但实际上它已被确保是有益的。
今天，关于人工智能的社会影响的讨论无处不在，关于人工智能安全和人工智能伦理的研究工作已经走进公司、大学和学术会议。人工智能安全研究的争议立场不再是提倡它，而是放弃它。2015年波多黎各人工智能会议（主题是帮助主流人工智能保持安全）的公开信只是含糊地谈到保持人工智能有益的重要性，而2017年阿西洛玛人工智能原则会议却具有真正的意义：会议明确地提到了递归式自我改进、超级人工智能和现存的风险。业界领袖和来自世界各地的1000多名人工智能研究人员均在公开信上签署了名字。
尽管如此，大多数讨论还只是限于狭义人工智能的短期影响，更广泛的团体对通用人工智能可能很快给地球上的生命带来的戏剧性变化关注有限。为什么会这样？
为什么我们急于让自己过时，为什么我们避免谈论它呢？
第一，原因在于简单的经济学。每当我们想出如何通过制造更好更便宜的机器来使某种类型的人类工作过时，社会的大部分收益都是：那些制造和使用机器的人赚取利润，而消费者得到更便宜的产品。就像纺织机、挖掘机和工业机器人的出现使某种人类工作过时一样，对于未来通用人工智能的投资者和科学家来说，情况也是如此。过去，被机器取代的工人通常会找到新的工作，但即使情况不再如此，这种基本的经济刺激还将保持下去。根据定义，具有竞争力的通用人工智能的存在意味着所有工作都可以由机器完成，成本低廉得多，所以任何宣称“人们总是会找到新的高薪工作”的人，实际上是在宣称人工智能研究人员没有制造好通用人工智能。
第二，智人天生好奇，即使没有经济激励，这种好奇心也会激励人们做出科学探索来理解智能、发展通用人工智能。尽管好奇心是人类最著名的特性之一，但当它培养出我们尚未学会如何明智管理的技术时，便会引发问题。没有利润的刺激，只是纯粹的科学好奇心，使人类发现了核武器，发明了许多灾难性工具，所以古谚“好奇害死猫”也同样适用于人类物种，这并非不可思议。
第三，我们是终有一死的凡人。这就解释了为什么人们几乎一致支持开发新技术来帮助我们活得更长久、更健康，这有力地推动了当前的人工智能研究。很显然，通用人工智能可以更多地帮助医学研究。一些思想家甚至希望通过电子化或上传数据来寻求近乎永生。
因此，我们正在向通用人工智能急剧倾斜，强烈的动机使我们会继续向这个方向前进，即使从定义上来说该结果会导致我们的经济过时。我们将不再需要任何东西，因为所有的工作都可以通过机器更有效地完成。通用人工智能的成功创造将是人类历史上最重大的事件，可为什么很少有人认真讨论它可能会带来什么后果呢？
同样，原因很多。
第一，厄普顿·辛克莱（Upton Sinclair）有句著名的讽刺：“当一个人靠对某事物的无知来赚钱的时候，让他理解这件事是有难度的。”(19)举例来说，科技公司或大学研究小组的发言人经常声称，他们的研究活动没有风险，即使他们私下里并不这样认为。辛克莱的这番言论不仅解释了人们对于吸烟和气候变化所带来的风险的种种反应，还解释了为什么有些人把技术视为一种新宗教，这种宗教的核心信条是更多的技术总是更好的，而反对者都是毫无头脑的煽动恐慌的卢德教徒。
第二，长期以来，人类总是充满了一厢情愿的想法、错误地从过去推断未来、一再低估新兴技术。达尔文的进化论使我们对具体威胁有强烈恐惧，却并不害怕难以想象的未来技术会带来的抽象威胁。想一想，1930年时，你试图警告人们未来的核军备竞赛会很危险，但那时你无法给他们看一个核爆炸的视频，甚至都没有人知道如何制造这种武器。即使是顶尖科学家也会低估不确定性，使得预测要么过于乐观（那些聚变反应堆和空中飞车在哪里？），要么过于悲观。欧内斯特·卢瑟福可以说是他那个时代最伟大的核物理学家，他曾说过核能是“痴心妄想”，说这番话时就在1933年，就在利奥·西拉特构思核连锁反应之前不到24小时。当时基本上没有人会预见到核军备竞赛的到来。
第三，心理学家发现，当我们认为无论如何我们都无能为力时，我们往往会避免去想令人不安的威胁。然而，在这种情况下，如果我们能开始思考这个问题，就可以做很多建设性的事情。
我们能做些什么？
我提倡做出战略转变，不再是“让我们快快创建一种让自己过时的技术——有什么可能会出错呢？”，而是“让我们设想一个鼓舞人心的未来，并朝着它迈进”。
为了激发前进所需的努力，这一战略开始时要设想一个诱人的目的地。虽然好莱坞的未来往往是反乌托邦式的，但事实是，通用人工智能可以使生活前所未有的繁荣。关于文明，我所热爱的一切都是智能的产物，因此，如果我们能用通用人工智能增强自己的智能，我们就有可能解决今天和明天最棘手的问题，包括疾病、气候变化和贫穷。对未来，我们能够做出的共同积极愿景越详细，就越有动力为实现这些愿景而共同努力。
我们应该做些什么？2017年所采用的23项阿西洛马原则为我们提供了许多指导，包括这些短期目标：
1.应避免致命自主武器的军备竞赛。
2.人工智能创造的经济繁荣应广泛共享，以造福全人类。
3.投资人工智能的同时还应该资助为确保其有益使用而进行的研究。比如，我们如何才能使未来的人工智能系统具有高度的鲁棒性，使它们在不发生故障或被黑客攻击的情况下做我们想让它们做的事情。(20)
前两个目标涉及不陷入次优纳什均衡。失控的致命自主武器军备竞赛一旦开始，将很难停止，它会将自动匿名暗杀的成本推向零。第二个目标需要扭转一些西方国家目前的趋势，在这些国家，从绝对意义上来说，许多人口变得更加贫穷，从而加剧了社会的愤怒、怨恨和两极分化。除非我们能够实现第三个目标，否则我们创造的所有奇妙的人工智能技术都可能会伤害我们，不管是意外的还是故意的。
人工智能安全研究必须在严格的期限内进行：在通用人工智能到来之前，我们需要弄清楚如何让人工智能理解、采纳和保留我们的目标。机器越智能、越强大，使它们的目标与我们的目标一致就越重要。只要我们制造的机器相对愚蠢，那么问题便不是人类的目标是否会占上风，而是在达到我们与机器目标一致之前，机器会造成多少麻烦。然而，如果制造出超级智能，那么情况就会反过来：因为智能就是实现目标的能力，所以超级智能人工智能从定义上来说，比起我们人类实现自己的目标，它更擅长完成它的目标，因此会占上风。
换句话说，通用人工智能的真正风险不是它的恶意，而是它的能力。一个拥有超级智能的通用人工智能将非常擅长完成它的目标，如果这些目标与我们人类的不一致，我们就有麻烦了。为修建水力发电大坝需要淹没蚁丘，对这件事，人类不会反复三思，所以我们不要把人类置于蚂蚁的位置。大多数研究人员认为，如果我们最终创造了超级智能，我们应该确保它是人工智能安全先驱埃利泽·尤德考斯基所称的“友好的人工智能”，其目标在某种深层意义上是有益的。
关于这些目标是什么的道德问题与实现目标一致的技术问题同样紧迫。例如，我们希望创造什么样的社会？即使严格地说我们的存在并不被需要，我们生活的意义和目的在哪里。对于这个问题，我经常会得到以下巧妙的回答：“让我们创造出比我们更聪明的机器，然后让他们找出答案！”这种回答错误地把智力和道德等同起来。智力没有善恶之分，从道德上来讲，智力是中立的。它只是一种完成复杂目标的能力，无论这个目标是好的还是坏的。我们不能断定如果希特勒更聪明的话，情况就会更好一些。事实上，将对道德问题的考虑推迟至创建出与人类目标一致的通用人工智能，这是不负责任的，很有可能也是灾难性的。一个完全顺从的超级智能，它的目标自动与人类所有者的目标一致，这样的超级智能就像纳粹党卫军一级突击队大队长阿道夫·艾希曼（Adolf Eichmann）(21)一样。如果没有道德的指南或自身的约束，它就会以无情的效率，实现所有者的目标，不管这些目标会是什么。(22)
每当我说需要分析技术风险时，就会有人说我危言耸听。但在我工作的地方，麻省理工学院，我们知道这样的风险分析并不是危言耸听：它是安全工程。在登月任务之前，在把宇航员放在装满高度可燃燃料的110米火箭的顶部，把他们发射到一个没有人能帮助他们的地方之前，美国国家航空航天局会系统地把一切可能出错的事情都考虑全面——很多事情都有可能会出错。这是危言耸听吗？不，这是确保任务成功的安全工程。同样，我们应该分析人工智能可能会出什么问题，以确保它能正常运行。
未来的展望
总之，如果我们的技术超越了我们管理技术的智慧，那么这样的技术可能会导致人类灭绝。据估计，地球上20%至50%的物种灭绝便是源于此，(23)如果我们人类是下一个因此灭绝的物种，那可是够讽刺的。想想通用人工智能给人类提供的大好机会，这有可能使生命不仅在地球上而且在大部分宇宙繁衍数十亿年，如果人类灭绝的话也将是极其可悲的。
不要因不科学的否认风险和糟糕的计划而白白浪费这个机会，让我们充满雄心壮志吧！智人的内心有着激昂向上的勃勃雄心，正如威廉·欧内斯特·亨利（William Ernest Henley）在《不可征服》（Invictus）中的名言：“我是命运的主宰，我是灵魂的统帅。”不要像无舵的船一样漂泊，最终走向被淘汰的命运，我们要挺起胸膛，征服横亘在我们与美好的高科技未来之间的技术和社会挑战。与道德、目标和意义相关的生存挑战又如何？在物理定律中没有设定的意义，所以与其被动地等待宇宙赋予我们以意义，不如承认和庆祝，是我们有意识的存在赋予了我们的宇宙以意义。让我们创造自己的意义，这个意义是比工作更深刻的东西。通用人工智能使我们最终成为自己命运的主人，让我们的命运真正鼓舞人心！
09 反对派报告 DISSIDENT MESSAGES
Continued progress in AI can precipitate a change of cosmic proportions—a runaway process that will likely kill everyone.
人工智能的持续发展会造成宇宙规模的变化，这个失控的过程可能会杀死每一个人。
扬·塔里安
Jaan Tallinn
扬·塔里安是一名计算机程序员、理论物理学家和投资者，与他人合作共同开发了Skype和Kazaa。
布罗克曼谈扬·塔里安
扬·塔里安在爱沙尼亚长大，是当时为数不多的电脑游戏开发者之一。在这篇文章中，他在人工智能领域的先驱维纳、艾伦·图灵和I. J.古德（I. J. Good）等人身上找到了当前人工智能异议的根源。
扬·塔里安关注的是事关生死存亡的风险，人工智能是所有风险中最极端的。2012年，他与哲学家休·普莱斯（Huw Price）和皇家天文台台长马丁·里斯共同在剑桥大学创办了生存风险研究中心，这是一个跨学科的研究机构，致力于减轻“与新兴技术和人类活动有关的风险”。
他曾经向我形容自己是“一个坚定的结果主义者”，他把自己的创业财富多数捐赠给未来生命研究所（他是该研究所的联合创始人）、机器智能研究所，以及其他致力于减少风险研究的机构。迈克斯·泰格马克曾写道：“如果你是一个智能的生命形态，在数百万年后的一天正在阅读这篇文章，惊叹于生命为何如此繁盛，那么你的存在可能要归功于扬·塔里安。”
在最近一次对伦敦的访问中，扬·塔里安和我参加了在伦敦市政厅举行的蛇形画廊马拉松的人工智能小组会议，会议由本书的另一位撰稿人汉斯·乌尔里希·奥布里斯特主持。当晚在一所豪宅里举办了一场盛大晚宴，云集了伦敦的杰出人物——艺术家、时装模特、富豪、舞台明星和荧屏明星。他非常自然地与屋子里的人寒暄后——“嗨，我是扬·塔里安，”他突然说，“嘻哈舞的时间到了。”说完就一只手倒撑在地板上，向这些一头雾水的一线明星们展示他惊人的动作。然后，他就与人谈论起舞蹈俱乐部的亚文化来，显然这是他每晚告别的方式。谁知道呢？
2009年3月，在热闹的加利福尼亚高速公路旁的一家连锁餐馆。我要在那里见一个年轻人，我一直在关注他的博客。为了让自己方便被认出来，他戴着一枚纽扣，上面写着：即使你的声音颤抖，也要说出真相。他的名字是埃利泽·尤德考斯基。在接下来的4个小时，我们一直在讨论他为世界传递的信息，这个信息把我带到了那家餐厅，也最终主导了我以后的工作。
人工智能的风险
我通过尤德考斯基的博客接触到了一个革命性的信息，这个博客迫使我安排了在加利福尼亚的见面。信息是：人工智能的持续发展会造成宇宙规模的变化，这个失控的过程可能会杀死每一个人。要避免这种结果，我们需要投入大量额外的努力。
在与尤德考斯基会面之后，我做的第一件事就是试图使我的Skype同事和密切合作者对他的警告感兴趣。但我失败了，他们并不感兴趣。这个信息太过疯狂，太不入主流。它的时代还没有来到。
后来我才知道尤德考斯基并不是最初的持有这种异议、说出这个特别真相的人。2000年4月，太阳微系统公司的联合创始人、首席科学家比尔·乔伊（Bill Joy）在《连线》（Wired）杂志上发表了一篇长篇评论文章，题目是《为什么未来不需要我们》（Why the Future Doesn't Need Us）。他警告说：
我们已经习惯于日常生活中充满了科学突破，但还没有学会接受这样一个事实：21世纪最引人注目的技术，如机器人技术、基因工程和纳米技术等，对人类造成的威胁不同于以前科技所带给人类的。具体地说，机器人、生物工程人和纳米机器人具有共同的危险因素：它们可以自我复制。一个机器人可以变成很多个，然后很快失控。
很显然，乔伊的这番评论引起大家的愤怒，但却没起到什么作用。
然而，更让我吃惊的是，有关人工智能风险的信息几乎与计算机科学领域同时出现。艾伦·图灵在1951年的一次演讲中说：“一旦机器思维的方法开始出现，它很快就会超越我们人类微不足道的能力，这似乎非常可能发生……因此，在某种程度上，我们应该预期机器能够掌握控制权。”(24)大约10年后，他在布莱切利园的同事I. J.古德写道：“第一台超智能机器是人类最不需要做的一项发明，因为机器要足够温顺，才能够告诉我们如何控制它。”(25)实际上，在《人有人的用处》一书中，我一共找到6处维纳暗示的“控制问题”（Control Problem）的这个或那个方面。比如：“像神灵这样的可以学习、可以根据其学习做出决定的机器，绝不会被迫做出人类本该做出的决定，也不会被迫做出人类可接受的决定。”显然，那些最初发布人工智能风险信息的唱反调的人就是人工智能先驱自己！
进化的致命错误
对于为什么控制问题是真实的，而不是科学幻想，存在许多论据，有些挺复杂，有些则不那么复杂。请允许我提供一个例子来说明问题的严重性：
在过去的10万年里，整个世界一直处于人脑管理之中。这里说的“世界”指地球，但是这个论点也可延伸到太阳系，甚至可能延伸到整个宇宙。智人的大脑是最复杂的未来形成机制，有些人甚至称之为宇宙中最复杂的物体。最初，我们没有将它们用于生存和部落政治之外的其他领域，但现在它们的影响力已经超过了自然进化。地球已经从生产森林发展到生产城市。
正如图灵所预言的，一旦我们拥有超人类的人工智能，也就是前文所说的“机器思维的方法”，人类大脑的管理时代就将结束。环顾四周，你见证了千百年来人类大脑管理的最后几十年。这种想法只会让人们停顿一下，然后他们又回到把人工智能当作另一种工具的思路上。一位世界顶级的人工智能研究人员最近向我坦白说，得知我们不可能创造出相当于人类水平的人工智能，他感到非常欣慰。
当然，开发出相当于人类水平的人工智能可能还需要很长时间。但我们有理由怀疑情况并非如此。毕竟，相对而言，进化这种盲目而笨拙的优化过程，只要出现了动物，就没花多长时间便创造出人类水平的智能。或者以多细胞生命为例：对于进化来说，让细胞粘在一起，似乎比从多细胞生物中创造出人类要难得多。更不用说，我们的智力水平会受到诸如产道宽度这样怪诞因素的限制。想象一下，这就相当于，人工智能开发者的研究工作被叫停，只是因为他无法调整电脑上字体的大小！
这里有一个有趣的对称性：在塑造人类时，进化创造出一个系统，这个系统至少在许多重要维度上比进化本身拥有更强大的计划性和优化性。我们是第一个了解到自身是进化产物的物种。此外，我们创造出许多人工制品，如无线电、枪支、宇宙飞船等，这些人工制品是进化不可能创造出来的。因此，我们的未来将取决于自己的决定，而不是取决于生物进化。从这个意义上说，进化已经沦为其自身控制问题的牺牲品。
我们只能希望在这个意义上我们比进化更聪明。当然，我们确实更聪明，但这样就够了吗？我们即将找到答案。
目前局面
此时此刻，在图灵、维纳和古德最初发出警告半个多世纪之后，在像我这样的人开始关注人工智能风险10年之后，我们开始讨论这个问题。我很高兴看到我们在这个问题上取得了很大进展，但我们肯定还没有完全解决这个问题。虽然人工智能风险不再是一个禁忌话题，但人工智能研究者们还没有充分认识到这个风险的严重性。人工智能有风险还没成为常识。我现在听到了一些谨慎言论，比如“我不关心超级智能人工智能，但在自动化程度提高方面存在一些真正的伦理问题”，或者“有人研究人工智能风险是好事，但这不是眼下我们关心的问题”，甚至还有听起来很合理的言论，“这些虽然都是小概率的情况，但它们非常有可能影响我们，这值得我们关注”。
不过，就消息传播而言，我们正接近临界点。最近，对2015年两次大型国际人工智能会议参会的人工智能研究人员进行调查，结果发现，40%的人认为来自高度发达的人工智能的风险要么是“一个重要问题”，要么是“该领域最重要的问题之一”。(26)
当然，我们可以肯定，有一些人永远不会承认人工智能有潜在的危险。否认人工智能风险的人通常都有经济或其他的务实动机。其中一个主要动机是公司利润。人工智能是有利可图的，即使在没有盈利的情况下，它至少也是一个时髦的、前瞻性的行业，你的公司未来会与之相连。因此，许多否认人工智能风险的观点是公司公关和法律机制的产物。在某种非常真实的意义上，大公司追求自身利益，没有人性，而这些利益可能与任何为他们工作的人的利益不一致。正如维纳在《人有人的用处》一书中所指出的：“当人类这一原子不是以完全负责任的人类，而是作为盖子、杠杆和棍子被编织进一个使用他们的组织时，组织的原料是不是血肉之躯就无关紧要了。”
另一个对人工智能风险视而不见的强烈动机是人类的好奇心。“当看到一些技术上会带来甜头的事情时，人们会想都不想只管去做，只是在技术成功之后才会争论该拿这个技术怎么办。人们就是这样对待原子弹的。”罗伯特·奥本海默（J. Robert Oppenheimer）如是说。杰弗里·欣顿可以说是深度学习的发明者，他最近就人工智能风险回应了奥本海默的这番话：“我可以给你们一般性的论据，但事实是，这个发明的前景太美好了。”
不可否认，现代社会几乎所有那些我们认为理所当然的美好事物之所以能够出现，都要归功于创业精神和科学好奇心。然而，我们需要认识到进步未必一定会带给我们一个美好的未来，这很重要。用维纳的话说就是：“我们可以不把进步当作伦理原则来相信，而只把进步当作事实来相信。”
从根本上说，在所有企业负责人和人工智能研究人员愿意承认人工智能风险之前，我们没有等待的奢侈机会。想象一下，你坐在一架即将起飞的飞机上。突然有消息称，40%的专家相信飞机上有炸弹。此时，飞行跑道已经准备好，我们并不想坐在那里等待其余的60%的专家下结论。
校准人工智能风险信息
尽管能够做出这种预言令人震惊，但最初宣扬的人工智能风险信息有一个巨大的缺陷，就像当前主导公众话语的版本一样：既大大低估了问题的严重性，也低估了人工智能的潜在优势。换言之，这条信息并不能充分表达游戏的利害关系。
维纳的警告主要指社会风险，也就是由于粗心地将机器生成的决策与管理过程合在一起以及人类滥用这种自动化决策而产生的风险。同样，目前关于人工智能风险的“认真”的争论主要集中在技术性失业或对机器学习的偏见上。虽然这样的讨论可能是有价值的，也能解决迫在眉睫的短期问题，但他们的论点之狭隘令人惊讶。我想起了尤德考斯基在博客上的一句俏皮话：“询问机器超级智能对传统劳动力市场的影响就像询问美中贸易模式将如何受到月球撞击地球的影响。确实会有影响，但你没有抓住要点。”
在我看来，人工智能风险的核心在于超级智能人工智能是一种环境风险。请允许我解释一下。
在他的“感知力水坑寓言”中，道格拉斯·亚当斯（Douglas Adams）描述了一个水坑，这个水坑早晨醒来，发现自己在一个“特别合身”的洞里。根据它的观察，这个水坑认为这一定是为它量身定做的世界。因此，亚当斯写道：“它消失的那一刻让它大吃一惊。”认为人工智能的风险仅限于会带来不利的社会发展，就是犯了类似的错误。严酷的现实是：宇宙不是为我们而生的，相反，我们需要进化以适应非常狭窄的环境参数。例如，我们需要地面上的大气大致保持在室温，维持大约100千帕的压力，并有足够的氧气浓度。这种不稳定的平衡出现任何紊乱，哪怕只是暂时的，我们都会在几分钟内死去。
基于硅的智能并没有这种对环境的担忧。这就是为什么用机器探测仪探索空间要比用“肉罐头”便宜得多。此外，对于超级智能人工智能最关心的高效计算来说，地球目前的环境几乎肯定不是最佳选择。因此，我们可能会发现我们的星球突然从人为的全球变暖转为机械化的全球冷却。人工智能安全研究需要解决的一个重大挑战，是如何使未来的超级智能人工智能——一种比我们人类的碳足迹大得多的人工智能，不要把我们的环境变得不适合生物生存。
有意思的是，鉴于人工智能研究和人工智能风险规避的最强有力的资源都在大公司的保护之下，如果你眯起眼睛看得足够仔细，你会发现“人工智能是环境风险”这一信息看起来像是对公司逃避其环境责任而产生的长期担忧。
相反，对人工智能的社会效应的担忧也使我们忽略了它所带来的大部分益处。与人类的全部潜能相比，这个星球的未来是多么渺小和狭隘，无论怎么强调都不为过。按照天文学的时间尺度，我们的星球很快就会消失（除非我们驯服太阳，很明显这也是有可能的），而维持文明长期运转的几乎所有资源，也就是原子和自由能量，都处于深空之中。
纳米科技的发明者埃里克·德莱克斯勒（Eric Drexler）最近一直在推广“帕累托托邦”（Pareto-topia）的概念：如果做得对，人工智能可以给我们带来这样一个未来——在这里，每个人的生活都得到极大改善，没有人是失败者。这里的一个关键认识是，使人类无法实现其全部潜能的主要阻碍可能是我们本能的感觉，我们本能地感到自己处在一个零和博弈中。在这个博弈中，玩家应该以牺牲他人为代价来维持小胜。这样的本能在一个“游戏”中被严重误导且具有破坏性，在这个游戏里一切都是赌注，而回报简直就是天文数字。我们银河系中的恒星系统比地球上的人口要多得多。
希望
在撰写本文时，我谨慎乐观地认为，人工智能风险信息能够拯救人类免于灭绝。截至2015年，已有40%的人工智能研究人员了解并接受了这一信息。如果现在一项新的调查显示大多数人工智能研究人员认为人工智能安全是一个重要问题，我不会感到惊讶。
我很高兴看到第一批技术性人工智能安全论文出自DeepMind、OpenAI和Google Brain，我也很高兴地看到在这些竞争非常激烈的人工智能安全研究团队之间，协作解决问题的精神正在蓬勃发展。
世界政治和商业精英也正在慢慢觉醒：电气和电子工程师学会（IEEE）、世界经济论坛以及经济合作与发展组织（OECD）的报告中，都涉及人工智能安全。中国于2017年7月发布的《新一代人工智能发展规划》中，也包括了关于“制定促进人工智能发展的法律法规和伦理规范”以及“建立人工智能安全监管和评估体系”的专门章节，以便增强风险意识。我非常希望，世界上新一代的领导人把人工智能控制问题和人工智能理解为终极的环境风险，希望他们能够超越通常的部落思维与零和博弈，引导人类越过这些危险地带，从而打开通往太空的道路。它们已经等待我们几十亿年了。
这就是我们未来的10万年！即使你的声音颤抖，也要毫不犹豫地说出真相。
10 科技预言与观念的不可低估的因果力量 TECH PROPHECY AND THE
There is no law of complex systems that says that intelligent agents must turn into ruthless megalomaniacs.
没有任何一个复杂系统定律表明，智能主体一定会变成无情的自大狂。
史蒂芬·平克
Steven Pinker
史蒂芬·平克，哈佛大学心理学系约翰斯通家族讲席教授，实验心理学家，从事视觉认知、心理语言学和社会关系研究。他共著有11本著作，包括《白板》（The Blank Slate）、《人性中的善良天使》（The Better Angels of Our Nature），以及最近的《当下的启蒙》（Enlightenment Now: The Case for Reason, Science, Humanism, and Progress）。
注：史蒂芬·平克的著作《当下的启蒙》《白板》《心智探奇》《思想本质》《语言本能》中文简体字版已由湛庐文化策划，浙江人民出版社出版。——编者注
布罗克曼谈史蒂芬·平克
心理学家史蒂芬·平克在其职业生涯中，无论是研究语言、倡导实在论的心理生物学，还是从人文主义启蒙思想的角度审视人类状况，都拥护自然主义的宇宙观和心智的计算理论。他也许是第一个国际公认的知识分子，能获得国际的认可是因为他倡导对语言、心智和人性进行经验性思考。
“正如达尔文使一个深思自然世界的观察者在观察时可以不使用神创论，”他说，“图灵和其他人使一个深思认知世界的观察者在观察时可以不使用灵性主义。”
在关于人工智能风险的讨论中，平克反对悲观的末日预言，认为这些预言源自我们的心理偏见，媒体报道尤其助纣为虐：“在我们不理性的头脑想象区，我们很容易想象出灾难场景，这些灾难场景总会得到许多焦虑的、对技术恐惧的或病态的人群的认可。”因此，几个世纪以来我们听到：潘多拉、浮士德、魔法师学徒、弗兰肯斯坦、人口炸弹、资源枯竭、手提箱核弹、千年虫，以及纳米技术灰蛊的吞噬。“人工智能反乌托邦者的一个特征，”他指出，“就是他们把狭隘的男性至上心理学投射到智能的概念上……历史上确实偶尔会出现狂妄自大的暴君或精神变态的连环杀手，但是这些是自然选择在特定种类的灵长类动物中塑造睾酮敏感回路的历史产物，而不是智能系统的必然特征。”
在这篇文章中，他对维纳面对技术的崛起依然相信思想的力量，深表赞同。正如维纳所说：“机器对社会所造成的危险不是来自机器本身，而是来自人类如何看待它。”
人工智能是一个活生生的证明，它证实了人类历史上的一个伟大思想：知识、理性和目的的抽象领域并不包括生命冲动、无形的灵魂或神经组织的神奇力量。相反，它可以通过信息、计算和控制与动物和机器的物理领域联系起来。知识可以被解释为存在于物质或能量中的模式，这种模式与世界的状态、数学和逻辑真理，以及其他模式之间，存在系统关系。推理可以被解释为通过物理操作对知识进行转换，物理操作是为了保持这些关系。目的可以被解释为对影响世界的损伤的控制，而控制以当前状态和目标状态之间的差异为指导。自然进化的大脑只是最常见的系统，它通过信息、计算和控制来实现智能。而人为设计的系统可以实现智能，这就证实了信息处理足以解释智能，已故的杰里·福多尔将这个想法称为心智计算理论。
