我要求每位撰稿人考虑以下两点：
1.华莱士·史蒂文斯（Wallace Stevens）的禅诗《观察一只黑鹂的十三种方式》（Thirteen Ways of Looking at a Blackbird）。华莱士·史蒂文斯认为这首诗“不是警句或思想的集合，而是表达了一些感觉”。这是一种“透视主义”的方法，整首诗由短小、独立的部分组成，每一部分都以某种方式提到黑鹂。这首诗描写他自己的想象，涉及他所关注的事物。
2.盲人摸象的寓言故事。就像故事中的大象一样，人工智能这个话题无论从哪个角度看都太过宏大，这就一定会出现每个人的看法皆与他人不同的现象。
我们对这本书的希冀是什么？斯图尔特·布兰德曾说过：“重新审视先驱的思想永远都有用。它给我们一种长远的视角，能在几十年甚至几个世纪的时间里吸引人们思考这一主题。当代的所有讨论，如果不能从长远视角出发，都注定不能长久。”
丹尼尔·希利斯希望在人工智能领域工作的人们不要忘了维纳的书对他们的深层影响。“你在执行他的路线图，”他说，“你只是没有意识到。”
丹尼尔·丹尼特希望“维纳的灵魂能来到这场思想盛宴。这是一种杂交优势的根源，是摇摆不定思想的根源，可以撼动既定的思想”。
尼尔·格申斐尔德认为“为运营苹果、亚马逊、谷歌、微软、脸书的人提供隐形矫正教育将是本书的一大成果”。
弗里曼·戴森是仍健在的少数几位认识维纳的学者之一。他说：“《人有人的用处》是迄今为止最好的书之一。维纳几乎所有的论断都是对的。我很想看看你们这群奇才如何使用这本书。”
人工智能历史的演变
万物在变，又恒久不变。现在人工智能无处不在。我们拥有互联网，拥有智能手机。那些手持“鞭笞我们的鞭子”的主要公司的创始人坐拥上百亿甚至上千亿美元的净值。一些行事高调的人，像埃隆·马斯克（Elon Musk）、尼克·波斯特洛姆（Nick Bostrom）、马丁·里斯（Martin Rees）、埃利泽·尤德考斯基（Eliezer Yudkowsky），以及已故的史蒂芬·霍金（Stephen Hawking），都对人工智能的发展提出过严厉警示，结果导致那些资金力量雄厚、主要研究发展“善良的人工智能”的研究所拥有了突出优势。但我们人类作为一个物种，真的有能力控制具有完全意识、不受监管、能自我完善的人工智能吗？维纳在《人有人的用处》中的告诫现在已变成现实，那些工作在人工智能革命最前沿领域的研究者应该重新审视维纳的这些告诫。戴森说：
维纳对那些“崇拜电子小装置的人”不再抱有幻想。这些人的自私“带动自动化发展，而这种发展已不再是出于合法的好奇，其本身充满罪恶”。他认为危险不在于机器变得像人类，而是人类变得像机器。“未来世界将是一场越来越激烈的斗争，挑战着我们的智力极限。”维纳在《上帝与傀儡公司》（God & Golem，Inc.）一书中写道。该书出版于1964年，维纳同年去世。“未来世界不是一张舒适的吊床，任我们躺在那里等待机器人奴隶的服务。”
现在我们应该找出人工智能领域里的主流者与持不同意见者，让这些人都能发表自己的观点，以此来审视人工智能历史的演变。
故而以下文章亟须业内人士不断更新。
约翰·布罗克曼
2019年于纽约
01 虽然是谬误，却比以往更靠谱 WRONG, BUT MORE RELEVANT THAN EVER
It is exactly in the extension of the cybernetic idea to human beings that Wiener's conceptions missed their target.
维纳的错误就在于他把控制论的理念用到了人类身上。
塞思·劳埃德
Seth Lloyd
塞思·劳埃德是麻省理工学院理论物理学家，机械工程系南普苏（Nam P. Suh）讲席教授，同时也是圣塔菲研究所的外聘教授。
布罗克曼谈塞思·劳埃德
20世纪80年代末期，我与塞思·劳埃德结识。当时新的思维方式铺天盖地：生物组织原理的重要性、从计算角度看数学和物理过程、对并行网络的重视、非线性动力学的重要性，以及对混沌、联结主义思想、神经网络以及并行分布式处理的新理解。那段时期，计算方面的进步为人们看待知识提供了一种新的思维方式。
塞思喜欢把自己看成量子力学领域的人，他在量子计算领域的研究使他举世闻名。量子计算试图利用量子理论的奇异特性，如叠加和纠缠，来解决使用传统计算机需要花几辈子时间去解决的问题。
在下面的文章里，他论述了信息理论的历史，从诺伯特·维纳对未来的洞察一直讲到科技“奇点”的预言——有些人相信科技“奇点”将会取代人类。他介绍了最近崛起的“深度学习”编程方法，认为人们对它的期望要适度。他指出，虽然人工智能已经有了长足发展，但机器人“还是不会系鞋带”。
说到塞思，很难不提到他的朋友和恩师——洛克菲勒大学已故理论物理学家海因茨·帕格尔斯教授。他们师生两人对彼此的理论思想影响深远。
1988年夏，我去阿斯彭物理研究中心（Aspen Center for Physics）拜访海因茨和塞思。他们两人就复杂性问题的共同研究成果，刊登在最近一期的《科学美国人》上。当时的他们活力四射。但就在两个星期后，二人登完皮拉米德峰下山时，海因茨遭遇山难，英年早逝。当时他们正在讨论量子计算。
诺伯特·维纳1950年出版的《人有人的用处》，是他两年前出版的那本影响深远的《控制论》的通俗版本。在《人有人的用处》中，维纳对在一个机械的运算能力变得愈发强大的世界中，人类与机械之间的相互作用进行了探讨。这是一本充满先见之明的书，同时也充满了谬误。这本书写于冷战正如火如荼之时，其中的内容让人胆战心惊，它让我们意识到极权主义组织和社会的危害，提醒我们当民主试图用极权主义的武器对抗极权主义时会对民主极为不利。
维纳在《控制论》中，以非常翔实的科学细节描写了经由反馈实现的控制过程。“控制论”（cybernetics）一词来源于古希腊语中意为“舵手”的单词，是现代词汇“管理者”（governor）的词源基础。詹姆斯·瓦特将他那开创性的反馈控制装置命名为“管理者”，这一装置改进了蒸汽机的使用方式。因为维纳沉溺于研究控制带来的各种问题，所以他将世界视为一组复杂的、互锁的反馈回路，其中传感器、信号和发动机之类的驱动器通过复杂的信号和信息交换而相互作用。控制论在工程领域的应用影响力极大且非常有效，使我们有了火箭、机器人、自动装配线，以及一系列精密工程技术，换句话说，它构成了现代工业社会的基础。
不过，维纳对控制论的理念有更大的雄心。在《人有人的用处》中，他认为这一理念可以应用到麦克斯韦妖、人类语言、大脑、昆虫新陈代谢、法律体系、技术创新对统治的作用，以及宗教之中。控制论的这些广泛应用，几乎是彻底的失败。20世纪40年代末到60年代初，人们对控制论大肆吹捧，在某种程度上就像对计算机和通信技术的过度渲染一样，而后者导致了2000年至2001年的互联网泡沫破灭。控制论确实带来了卫星和电话交换系统，但它对社会结构及整个社会没有促成什么有用的发展。
然而近70年后，《人有人的用处》这本书教给我们人类的却远比它刚刚出版时要多得多。也许这本书最大的特点就是它引入了大量关于人类与机器相互作用的主题，这些主题至今仍然非常重要。这本基调灰暗的书预测了在20世纪后半叶即将发生的几种灾难，其中许多与今天人们对21世纪后半叶的预测非常相似。
例如，维纳预见到在距离1950年不远的将来，人类会将社会的控制权交给一种控制论的人工智能，这将导致对人类的严重破坏。维纳预言，生产自动化会带来产量的大幅增长，但同时也将使大批工人下岗——在接下来的几十年里，这些确实发生了。维纳警告说，除非社会能合理安置这些失去工作的工人们，否则叛乱将随之而来。
但是维纳没有预见到技术的重大发展。就像20世纪50年代的许多技术专家一样，他没有预见到计算机革命。他以为，计算机的价格会从50年代的几十万美元降到几万美元。无论是他还是那个时代的其他人，都没有预料到随着晶体管和集成电路的发展，计算机的能力会有爆发式的提高。最后，由于维纳过度强调控制，他没有预见一个技术世界的到来，在这个技术世界里，创新和自组织是从底部一点点发展而来而不是从顶部强加下来的。
维纳关注极权主义的罪恶，无论这罪恶是政治的、科学的还是宗教的，所以他以极其悲观的眼光看待世界。在书中他警告说，如果我们不尽快修好我们的道路，灾难就在等着我们。《人有人的用处》这本书出版半个多世纪以后，当前的人类和机器世界远比维纳能预见到的复杂、多样得多，这样的世界有着广泛得多的政治、社会和科学体系。但是如果我们弄错的话，如果全球的极权主义政权控制整个互联网的话，今天的灾难预警就像1950年的灾难预警一样迫在眉睫。
维纳之英明
维纳在最著名的数学著作中，探讨的是信号分析和噪声的影响。第二次世界大战期间，他构建了一种模型，可以通过推算飞机以前的飞行行为，预测它未来的飞行轨迹，由此他开发了一种防空火力的瞄准技术。在《控制论》和《人有人的用处》两书中，维纳指出，根据飞机以往的飞行行为，甚至包括人类飞行员的怪癖和习惯，一个机械化装置可以预测人类行为。像艾伦·图灵（他在图灵测试中预言计算机对问题做出的回应，将与人类没有什么差别）一样，维纳也痴迷于用数学描述来捕捉人类行为。20世纪40年代，他把控制和反馈回路方面的知识应用到生物系统中的神经肌肉反馈中，还把沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）介绍到麻省理工学院，在那里，他们两人在人工神经网络方面做出了开创性的工作。
维纳思想的核心是从信息角度来理解这个世界。复杂系统，如生物体、大脑和人类社会，是由互锁反馈回路组成的，其中子系统之间的信号交换导致了复杂但稳定的行为。当反馈回路发生故障时，系统会变得不稳定。他构建出一幅引人注目的图景，说明了生物系统的运行机制是多么复杂。目前，世人已普遍接受了这一图景。
维纳把信息看成掌控复杂系统行为的核心，这一观点在当时相当令人瞩目。现今，当汽车和冰箱中挤满了微处理器，而人类社会的大部分都围绕着与互联网相连的计算机和手机时，强调信息、计算和通信的中心性似乎毫无新意。然而在维纳时代，第一台数字计算机才刚刚诞生，技术专家们还根本不知道互联网为何物。
维纳不仅把工程的复杂系统，还把所有的复杂系统都看成是围绕信号和计算循环来运作的，这为复杂人工系统的发展做出了巨大贡献。例如，他和其他人开发的用于控制导弹的方法，后来被应用于建造土星5号月球火箭，这是20世纪最伟大的一项工程成就。特别需要指出的是，维纳的控制论理论在大脑和计算机感知领域的应用，是当今基于神经网络的深度学习和人工智能的前身、雏形。不过，这些领域目前的发展与维纳的预见不同，它们的未来发展很可能会影响人类对人类和机器的使用。
维纳之谬误
维纳的错误就在于他把控制论的理念用到了人类身上。暂时撇开他对语言、法律和人类社会的思考，看看他认为1950年后不久将会产生的一项不起眼却非常有潜力的创新。维纳认为，如果使用假肢的人能够通过他们自己的神经信号直接与假肢沟通，从肢体接收压力和位置信息并指导其随后的运动，假肢将更有效。事实证明，这比维纳设想的要困难得多：70年后，合并神经反馈的假肢仍然处于早期阶段。维纳的理念不错，只是神经信号与机械电子设备的接口问题很难解决。
更重要的是，维纳和几乎所有生活在那个时代的其他人一样，极大地低估了数字计算的潜力。正如前面指出的那样，维纳的数学成就在于对信号和噪声的分析，他的分析方法适用于连续变化的或者说模拟的信号。虽然他参与了战时数字计算的开发，但他从未预见到半导体电路的引入和逐步小型化所带来的计算能力的爆炸性发展。我们很难将其归咎于维纳：毕竟当时晶体管还没有发明出来，他熟悉的数字计算机的真空管技术笨拙、不可靠，而且无法扩展应用到越来越大的设备中。在1948年版《控制论》的附录中，他预测了会下棋的计算机的问世，还预测到它们能够算出两到三步。然而，半个世纪后，一台计算机在国际象棋比赛中击败了世界冠军，这将会令他大为惊讶。
高估技术的发展和奇点的毁灭性风险
当维纳创作《控制论》《人有人的用处》这两本书时，一件著名的高估了技术的事情即将发生。在20世纪50年代，人们首次尝试开发人工智能。赫伯特·西蒙（Herbert Simon）、约翰·麦卡锡和马文·明斯基等研究人员开始设计计算机程序来完成简单任务，并建造了机器人雏形。这些最初的努力获得了成功，西蒙倍受鼓舞，宣称：“20年内，机器将有能力完成一个人所能做的任何工作。”结果这一预言大错特错。随着计算机变得更强大，它们变得越来越擅长下棋，因为计算机系统可以生成许多可能的棋步，并估算这些棋步。但人们对人工智能的多数预测，例如机器人女佣，却是不切实际的。1997年的国际象棋大赛上超级计算机“深蓝”击败加里·卡斯帕罗夫（Garry Kasparov）时，最强大的清扫房间机器人是一个叫“伦巴”（Roomba）的机器人，它随意四处移动吸走灰尘，当它被困在沙发下面时会发出吱吱的叫声。
预测技术进步充满了不确定性，因为技术进步是一系列的改进过程，困难会阻碍进步，而创新则会克服困难，取得进步。许多困难以及一些创新可以被预见到，但更多的困难及创新则很难预料。我自己和实验专家合作建造量子计算机时，我常常发现，一些我以为很容易实现的技术步骤，结果却是不可能完成的；而一些我想象中不可能完成的任务却变得很容易。你不试试就永远不会知道。
20世纪50年代，冯·诺伊曼从与维纳的谈话中受到启发，引入了“技术奇点”这一概念。技术常以指数式速度不断提高，每隔一段时间其性能或灵敏度就会增加一倍。例如，自1950年以来，几乎每隔两年，计算机性能便会提升一倍，这种现象便是“摩尔定律”。冯·诺伊曼根据观察到的技术进步的指数率，断言“技术进步将变得异常迅速、复杂”，在不远的将来就会超越人类能力。事实上，如果按照现在的速度推断未来计算机的原始计算能力增长，也就是按比特率和位翻转计算，计算机应该在未来的20到40年内发展到可与人类大脑匹敌的程度，具体时间取决于如何估算人类大脑的信息处理能力。
人们最初对人工智能过于乐观的失败预测，使得在之后的几十年很少有人讨论技术奇点的话题，但是自从雷·库兹韦尔（Ray Kurzweil）(1)2005年出版《奇点临近》（The Singularity Is Near）后，技术进步带来超级智能的想法再次回归。包括库兹韦尔在内的一些人坚信，奇点就是机遇：人类可以将他们的大脑与超级智能融合，从而永生。但还有一些人，如史蒂芬·霍金和埃隆·马斯克则担心这种超级智能是邪恶的，担心它会对人类文明构成最大威胁。不过有一些人，包括本书的一些撰稿人却认为这样的说法太过夸张。
维纳毕生的事业以及他预测的失败，都与技术奇点密切相关。他在神经科学方面的研究，以及他对麦卡洛克和皮茨最初的支持，勾勒出当今极其有效的深度学习方法的轮廓。在过去的几十年里，尤其是在过去的5年，这种深度学习的技巧最终发展出维纳所称的“格式塔”能力，例如，你知道圆就是圆，即使当它倾斜看起来像一个椭圆时，你仍旧知道它就是一个圆。他对控制论的研究，以及他在神经肌肉反馈方面的研究，对于机器人的发展意义非凡，也启发了以神经为基础的人机接口研究。然而，他对技术发展的误判也表明，我们不应该完全相信技术奇点一说。预测技术进步的常见困难以及发展超级智能时特有的问题都应该让我们警惕，不要高估信息处理的力量和效能。
奇点怀疑论的论据
没有任何一种指数式增长能一直持续下去。原子弹爆炸呈指数式增长，但也就持续到燃料耗尽之时。同样地，摩尔定律的指数式增长近来开始进入基础物理所设定的极限之中。计算机的时钟速度在15年前不超过几千兆赫，仅仅是因为速度再高芯片就开始热得熔化了。由于隧道效应和电流泄漏，晶体管的小型化已经进入量子力学领域。最终，摩尔定律驱动的各种存储器和处理器的指数式增长都将停止。然而，再过几十年，计算机的原始信息处理能力也许就能与人类的大脑匹敌，至少按照每秒处理的比特率和位翻转粗略计算的话是如此。
人类的大脑构造复杂，经过几百万年的自然选择变成了现在的样子。在维纳时代，我们对人类大脑构造的了解非常浅显、简单。从那时起，越来越敏感的仪器和成像技术表明，我们的大脑在结构和功能上远比维纳所能想象的更多样、更复杂。最近，我问现代神经科学先驱托马索·波焦（Tomaso Poggio），是否担心随着计算机处理能力的快速提高，计算机将很快赶上人类的脑。“绝不可能。”他回答。
深度学习和神经形态计算方面的最新进展，很好地再现了人类智力的某个特定方面，主要是模拟了大脑皮层的模式处理和模式识别能力。这些进步使计算机不仅能打败国际象棋世界冠军，还能打败围棋冠军。计算机的这种胜利令人印象深刻，但计算机化的机器人却远远不能清理房间。实际上，还没有能在许多灵活运动中具有接近人类能力的机器人，不信你就搜索“摔倒的机器人”。机器人擅长于在装配线上精确地焊接，但它们仍然不能系好自己的鞋带。
原始的信息处理能力并不等同于复杂的信息处理能力。虽然计算机的性能呈指数式增长，但计算机运行的程序却往往根本无法进步。软件公司为提高计算机处理能力采取的主要应对策略就是添加“有用”的功能，但这常常会使软件更难使用。1995年微软的Word可以说是登峰造极，但之后便由于附加了太多功能而慢慢不再那么好用。一旦摩尔定律开始放缓，软件开发人员将在计算机的效率、速度和性能之间面临艰难选择。
对奇点主义的恐惧，主要是担心随着计算机更多地参与设计它们自己的软件，它们将迅速拥有超人的计算能力。但机器学习的真实情况却恰恰相反。当机器的学习能力变得越来越强时，它们的学习方式会变得越来越像人类。许多事例表明，机器的学习是在人类和机器老师的监管下进行的。对计算机进行教育就像对青少年进行教育一样困难、缓慢。因此，基于深度学习的计算机系统正在变得越来越人性化。它们带来的学习技能不是“优于”而是“补充”人类学习：计算机学习系统可以识别人类无法识别的模式，反之亦然。世界上最好的国际象棋棋手既不是计算机，也不是人类，而是与计算机合作的人。网络空间里确实存在有害的程序，但这些主要是恶意软件，即病毒，它们不是因为其超级智能而为世人所知，而是因为恶意的无知而遭世人谴责。
如果维纳来到今天
维纳指出，科技的指数式进步是一个相对现代的现象，并不都是好的。他认为原子武器和带有核弹头的导弹是人类杀死自己的最好方法。他把对这颗星球资源的疯狂开采与《爱丽丝漫游奇境记》（Alice in Wonderland）中的疯狂茶会进行对比：我们把废物丢在身边的环境中，为了继续取得进步，只需换一个地方丢弃废物即可。维纳对计算机和神经-机械系统的发展持乐观态度，但对独裁政府对这些技术的使用却很悲观，一些国家在面临独裁主义威胁时也变得越来越独裁，这也让他无法乐观起来。
对于目前人对人的用法，维纳将有何高见？计算机和互联网的力量可能会让他大吃一惊。他参与的早期神经网络研究现已形成强大的深度学习系统，并展现出他所希冀的感知能力，这可能会让他很高兴。不过，对于计算机化格式塔的一个最突出例子，即机器能在万维网上认出小猫的照片，他可能并不感兴趣。我猜测，维纳不会认为机器智能是威胁，而会把它当作一种独立的现象，这种智能不同于我们人类的智能，而且会与人类智能共同进化。
维纳对全球变暖不会感到惊讶，这是我们这个时代的疯狂茶会。他会对替代能源技术的指数式提高表示赞赏，并将运用自己的控制论专业知识开发一套复杂的反馈回路，将这些技术整合到即将到来的智能电网中。尽管如此，当他意识到解决气候变化的问题不仅是技术问题，也是政治问题时，他无疑会对我们能否及时解决这个威胁人类文明的难题持怀疑态度。维纳讨厌骗子，尤其是政治骗子，但他也知道，骗子永远都在。
我们很容易就会忘记维纳所处的时代有多么可怕。美国和苏联展开全面军备竞赛，争相建造安装有氢弹的核弹头，将其装在洲际弹道导弹上。导弹上有导航系统，令维纳难过的是，这个导航系统就有他的功劳。1964年维纳去世时，我4岁。那时候我在上幼儿园，班里的小朋友正在练习猛然躲在课桌下以求在核武器袭击时得到掩护。想到在他的时代人对人的用法，如果他能看到我们目前的状态，他的第一反应将是放心，因为我们还活着。
02 不透明学习机器的局限性 THE LIMITATIONS OF OPAQUE LEARNING MACHINES
Deep learning has its own dynamics, it does its own repair and its own optimization, and it gives you the right results most of the time. But when it doesn't, you don't have a clue about what went wrong and what should be fixed.
深度学习有自己的动力学机制，它能自我修复，找出最优化组合，绝大多数时候都会给出正确的结果。可一旦结果错了，你不会知道哪里出了问题，也不知道该如何修复。
朱迪亚·珀尔
Judea Pearl
朱迪亚·珀尔是计算机科学教授，加州大学洛杉矶分校认知系统实验室主任。他与达娜·麦肯齐（Dana Mackenzie）合著了《为什么：关于因果关系的新科学》（The Book of Why: The New Science of Cause and Effect）。
布罗克曼谈朱迪亚·珀尔
20世纪80年代，朱迪亚·珀尔推出了一种实现人工智能的新方法，称为贝叶斯网络。这种基于概率的机器推理模型使机器能够在一个复杂而不确定的世界中发挥作用，成为“证据引擎”，根据新的证据不断修正自己的信念。短短几年内，珀尔的贝叶斯网络完全取代了以往基于规则的人工智能途径。深度学习的出现，使珀尔的研究暂时停下来，因为这种方法有些不透明。深度学习指计算机通过观察大量数据来自学，使自己变得更聪明。
看到迈克尔·乔丹（Michael Jordan）和杰弗里·欣顿（Geoffrey Hinton）等同事在深度学习领域取得的杰出成就后，他对这种不透明感到不安。他开始理解深度学习体系的理论局限性，并指出这些基本障碍的存在将使机器永远无法达到人类的智慧，无论我们付出怎样的努力。珀尔意识到，通过利用贝叶斯网络的计算优势，将简单概率图模型和数据组合起来，也可以表示和推断因果关系。这一发现的意义远远超出了它在人工智能领域最初的存在意义。他的新书向一般大众解释了这种因果思维，可以说，这是一本关于人类如何思考的入门书。
珀尔采用原则性的、数学的方法研究因果关系，这是对思想界的巨大贡献。几乎每一个研究领域都从中受益，特别是数据密集型的健康学和社会科学。
作为一名前物理学家，我对控制论非常着迷。虽然它没有把图灵机的全部性能发挥出来，但它高度透明，这也许是因为它是建立在经典的控制理论和信息理论基础之上的。现在，机器学习的深度学习模式已经失去了这种透明度。从根本上说，深度学习是一个曲线拟合问题，在一长串输入输出链的中间层调整权重。
我发现许多使用者会说“很好用，但我们也不知道原因”。深度学习有自己的动力学机制，一旦你喂给它大量的数据，它就活跃起来，还能自我修复，找出最优化组合，绝大多数时候都会给出正确的结果。可一旦结果错了，你不会知道哪里出了问题，也不知道该如何修复。尤其是，你不知道问题是出在程序上还是方法上，抑或是因为环境发生了改变。我们应该致力于找到一种完全不同的透明度。
一些人认为，我们并不需要透明。我们不了解人类大脑的神经构造，它也运行得挺好，所以我们可以原谅自己的浅薄，最大限度地利用机器。同理，他们还认为，我们为什么不利用深度学习系统，建造一种不用了解它们工作原理的智能呢？在某种程度上，我认可这种观点。我个人并不喜欢不透明，所以我不会浪费时间在深度学习上，但我也知道它在智能中占有一席之地。我知道，不透明的系统也能做出色的工作，我们的大脑就是这样的奇迹。
但这种观点有其局限性。我们可以原谅自己不了解人类大脑的运作原理，这是因为人类大脑的运作原理是一样的，无须了解我们也可以与他人交流、向他人学习、给他人指导、用我们的语言鼓励他人。但如果我们的机器人都像“阿尔法围棋”（AlphaGo）一样不透明，我们便无法与它们进行有意义的交流，这很不幸。无论何时，任务或操作环境有些许改变，我们都需要重新培训它们。
所以，我没有用这些不透明的学习机器做实验，我在努力了解它们理论的局限性，想着怎样去克服这种局限。我使用了因果推理方法，这种方法是科学家思考世界所使用的方法，有着丰富的直觉案例，可以在分析中监控进展情况。这样，我发现确实存在一些基本障碍，除非攻克这些障碍，不然无论我们怎样努力，都无法让机器拥有人类一样的智能。我相信，了解这些障碍和攻克这些障碍同样重要。
当前的机器学习系统几乎完全在统计模式或者说模型盲（model-blind）的模式下运行，这在许多方面类似于将函数拟合到大量点数据。这样的系统不能推理“如果……会怎样？”的问题，因此不能作为强人工智能的基础，强人工智能是模拟人类推理和能力的人工智能。为了达到人类智能水平，学习机器需要现实蓝图的指导，这种蓝图是一个模型，类似于当我们在陌生城市开车时给我们指路的道路地图。
更准确地说，当前的学习机器是通过优化从环境中接收到的感觉输入流的参数来提高其性能。这是一个缓慢的过程，与达尔文进化论的自然选择过程相似。它解释了鹰和蛇等物种，如何在几百万年的进化过程中拥有超强视力的过程。但它无法解释超级进化过程，这一过程使人类在短短的一千年内制造出眼镜和望远镜。人类拥有而其他物种没有的正是他们对环境的心理表征，他们可以随意操纵这种心理表征，想象出假设环境来进行规划和学习。
尤瓦尔·赫拉利（Yuval Noah Harari）和史蒂文·米森（Steven Mithen）等研究“智人”的历史学家们一般认为，使人类祖先4万年前能统治全球的决定性因素是：他们拥有创造和储存自身环境的心理表征能力，他们能反复探究这种心理表征，通过想象扭曲它，最终可以回答“如果……会怎样？”这样的问题。比如他们会问一些介入性问题：“如果我这样做了，会怎样？”还会问一些回顾性或反事实性的问题：“如果我没那样做，会怎样？”今天没有一台学习机器能回答得了这样的问题。而且，大多数学习机器不具有这样的表征，它们无法从这样的问题中得到答案。
至于因果推理，我们发现对于任何形式的模型盲曲线拟合或者任何统计推断，无论拟合过程有多复杂，你能做的都微乎其微。我们还发现了组织这些局限的理论框架，这些框架形成一个层级结构。
第一层是统计推理。统计推理能告诉你的，只是你看到的一件事如何改变你对另一件事的看法。例如，某症状能告诉你得了哪一种疾病。
然后，是第二层。第二层包含了第一层，但第一层却不包含第二层。第二层处理的是行动。“如果我们抬高价格会怎样？”“如果你让我笑了，会怎样？”第二层需要的是干预信息，这些信息是第一层所没有的。这些信息可被编码成概率图模型，它仅仅告诉我们哪个变量对另一个变量有响应。
第三层是反事实的。这是科学家们使用的语言。“如果这个东西重两倍，会怎样？”“如果当初我没有这样做，会怎样？”“治好了我头疼的是阿司匹林还是刚刚打的盹？”反事实在感觉中属于最高层次，即使我们能够预测所有行动的结果，但却无法得到反事实。它们需要一种额外的东西，以等式的形式告诉我们对于其他变量发生的变化，某个变量会如何反应。
因果推理研究的一个突出成就是对干预和反事实的算法化，也就是对层级结构最高两层的算法化。换言之，一旦我们把科学知识编码成模型（这个模型可以是定性的），那么就会存在检查模型的算法，对于一个给定的查询，无论该查询是关于干预的还是反事实的，这种算法都可以根据可用的数据来估算是否有结果，以及如果是的话，如何得出结果。这一成就极大改变了科学家们做科学研究的方法，尤其是在社会学和流行病学等数据密集型科学中，因果模型已经成为第二语言。这些学科把它们的语言转换看成是“因果革命”。正如哈佛社会科学家加里·金（Gary King）所说：“在过去几十年里，人们对因果推理的了解，比先前有史以来学到的一切加起来都多。”
当我思考机器学习的成功并试图把它推广到未来的人工智能时，我问自己：“我们是否意识到了在因果推理领域中发现的基本局限性？我们准备绕过阻碍我们从一个层级升到另一个层级的理论障碍吗？”
我认为机器学习是一种工具，使我们从研究数据走到研究概率。但是，从概率到实际理解，我们仍然需要多迈出两步，非常大的两步。一是预测行动的结果，二是反事实想象。除非我们迈出最后两步，否则我们不能说了解了现实。
哲学家斯蒂芬·图尔敏（Stephen Toulmin）在他充满洞察力的著作《前瞻和理解》（Foresight and Understanding，1961）中提出，透明性与不透明性之间的对比是理解希腊与巴比伦科学之间古老竞争的关键。按照图尔敏的说法，巴比伦天文学家是做出黑匣子预测的大师，在天文观测的准确性和一致性方面远远超过了对手希腊。然而，科学却偏爱希腊天文学家创造性的推测，这种推测大胆且充满隐喻性的意象：充满了火焰的圆管、天火透过小孔被视作星星以及半球状的地球骑在龟甲上。正是这种大胆的建模策略，而不是巴比伦的外推，震惊了埃拉托色尼（Eratosthenes），使他做了一个当时世界上最具创造力的实验，测算出了地球的周长。巴比伦的那些以数据为准则的科学家们永远不会做这样的实验。
模型盲法把内在限制加在强人工智能执行的认知任务上。我觉得，达到人类水平的人工智能不会仅仅从模型盲学习机器中出现，它还需要数据和模型的共生协作。
数据科学只是一门有助于解释数据的科学，而解释数据是一个两体问题，将数据与现实联系起来。但无论数据有多“大”，人们操控数据多么熟练，数据本身并不是一门科学。不透明的学习系统可能会把我们带到巴比伦，但绝不是雅典。
03 给机器输入使命 THE PURPOSE PUT INTO THE MACHINE
We may face the prospect of superintelligent machines—their actions by definition unpredictable by us and their imperfectly specified objectives conflicting with our own—whose motivations to preserve their existence in order to achieve those objectives may be insuperable.
未来我们可能面临这样的情景：我们无法预知这些超级智能机器的行动，它们不完全明确的目标与我们自己的目标相冲突——而为了实现这些目标必须生存下来的动机非常强大。
斯图尔特·罗素
Stuart Russell
斯图尔特·罗素是加州大学伯克利分校的计算机科学教授、史密斯-扎德工程学讲席教授。他与彼得·诺维格（Peter Norvig）合著了《人工智能：一种现代的方法》（Artificial Intelligence: A Modern Approach）。
布罗克曼谈斯图尔特·罗素
计算机科学家斯图尔特·罗素和埃隆·马斯克、史蒂芬·霍金、迈克斯·泰格马克以及其他许多人一样，坚持认为，我们应该慎重创造超人类水平甚至人类水平的智能，也就是通用人工智能。这里面存在着潜在危险：这些智能程序的目的可能未必与人类设计的目的一致。
他早期的研究主要致力于把“有界最优性”（Bounded Optimality）这一概念理解为对智力的正式定义。他开发出理性元推理技术，“简单地说，就是那种你希望能够尽快提高最终决定的质量的计算”。他致力于概率论和一阶逻辑的统一，为《全面禁止核试验条约》提供全新的、更为有效的监测系统，同时还致力于解决长期的决策问题。他对最后一个主题的陈述常以“生命：在20万亿个动作中打赢”为标题。
他非常关注自主武器的持续发展，如杀伤力极强的微型无人机，这些无人机极有可能变为大规模杀伤性武器。他起草了写给奥巴马总统的信，信中汇集了世界顶尖的40名人工智能研究者的意见，这封信促成高级别美国国家安全会议的召开。
他目前的工作主要是建造他所说的“可证明有益的”人工智能。他希望通过“将明确的不确定性输入系统”来确保人工智能的安全性，这种不确定性是指人类程序员的目的具有不确定性。这种方法将彻底打乱当前人工智能的研究。
在过去20多年里，学过计算机科学课程的人一定都听说过斯图亚特的名字。他与人合著了人工智能领域的权威教科书，估计有500多万英语读者。
诺伯特·维纳在《人有人的用处》一书中提出了许多问题，其中对当今人工智能研究者来说最重要的问题就是：人类将自己的命运交给机器掌握的可能性。
维纳认为，在不久的将来，机器的能力太有限，无法控制全球。相反，他认为，机器和像机器一样的控制系统将掌握在人类精英手中，绝大多数人类将沦为“齿轮、杠杆和棍子”。展望更远的未来，他指出给这些具有超高能力的机器确定明确目的，有相当的难度。他说：
生活中有一些更简单、更显然的真理，比如瓶子里发现有个魔鬼，最好的办法就是让他待在那里；比如渔夫为他的妻子祈求许多恩惠，最终却又回到原点；再比如假设你可以实现三个愿望，那你要非常小心地许愿。
其危险显而易见：
除非我们事先检查了机器的行为规律，完全清楚它的行为是按照我们能接受的原则进行的，否则让机器决定我们的行为，那就太不幸了。另一方面，像神灵这样的可以学习、可以根据其学习做出决定的机器，绝不会被迫做出人类本该做出的决定，也绝不会做出人类可接受的决定。
10年后，看到阿瑟·塞缪尔（Arthur Samuel）设计的西洋跳棋博弈程序可以比它的设计者下棋下得好得多，维纳在《科学》杂志上发表了《自动化的一些道德和技术后果》（Some Moral and Technical Consequences of Automation）。在这篇文章中，他的观点更加清晰：
如果为了达到目的，我们使用一个无法有效干预其操作的机械装置……我们最好确信我们让机器拥有的目的就是我们真正想要的目的。
在我看来，这就是近年来埃隆·马斯克、比尔·盖茨、史蒂芬·霍金和尼克·波斯特洛姆等观察家提出的超级人工智能存在风险的根源。
将目的输入机器
人工智能研究的目标是了解智能行为背后的原理，并将这些原理注入机器中，使其可以表现出这样的行为。在20世纪60年代和70年代，主流的智能理论是指逻辑推理的能力，包括为实现特定目的设定行动计划的能力。最近，大家就理性主体的思想达成了一致，理性主体可以感知并采取行动，以求最大限度地发挥其预期效用。逻辑规划、机器人学和自然语言理解等子领域都属于这个一般范式中的特殊情况。人工智能领域已经纳入概率理论来处理不确定性，纳入效用理论来定义目标，纳入统计学习以使机器适应新的环境。这些进展使人工智能与其他学科建立了强有力的联系，这些学科建立在相似的概念上，包括控制理论、经济学、运筹学和统计学等。
在人工智能的逻辑规划和理性主体视角中，机器的目的，无论是以目标的形式，还是效用函数、奖赏函数（如强化学习）的形式，都是外生的。用维纳的话说，这就是“赋予机器以目的”。事实上，人工智能领域有一个信条，即：人工智能系统应该拥有一般目的，也就是说，它能够接受一个输入的目的，然后实现这个目的；人工智能不应该有特殊目的，也就是隐含在它的设计中的目的。例如，自动驾驶的汽车应该接受输入的目的地，而不是有一个固定的目的地。但，汽车的某些“驾驶目的”是固定的，例如它不应该撞到行人。这个目的直接建构于汽车的驾驶程序之上，不是外显的，毕竟现在没有一台“自动驾驶汽车”“知道”行人不想被撞到。
