诺伯特·维纳的《人有人的用处》是本书的基石，它庆祝了这一智力成就，维纳本人也对此成就做出过重要贡献。20世纪中叶的革命使世界有了心智计算理论，这段历史也许可以归功于克劳德·香农和沃伦·韦弗，因为他们用信息的方式对知识和通信进行解读。这段历史也可以归功于艾伦·图灵和约翰·冯·诺伊曼，因为他们从计算的角度阐释了智力和推理。这段历史还归功于维纳，因为他用反馈、控制和控制论的技术概念（就它最初的“控制”目标导向系统的操作的意义来讲）来解释目的、目标和目的论的至今仍然神秘的世界。“我的论点是，”他说，“有生命个体的物理功能与一些较新的通信机器的运作，在它们通过反馈控制熵的相似尝试中是完全一致的。”——躲避破坏生命的熵是人类的终极目标。
维纳把控制论的思想应用到第三种系统：社会。一个复杂社区的法律、规范、习俗、媒体、论坛和机构可能会是信息传播和反馈的渠道，它们能使一个社会远离混乱、追求特定目标。这一思想是贯穿《人有人的用处》的一条主线，维纳本人将其视为这本书的主要贡献。他这样解释反馈：“普通人会忽视这种行为的复杂性，特别是在我们对社会的习惯分析中，这种行为的复杂性并没有发挥应有的作用；因为正如可以从这个角度来看个体的物理反应，我们也可以从这个角度来看社会本身的有机反应。”
事实上，维纳对思想在历史、政治和社会运作中的作用提供了科学依据。通过调整人类的行为，人类所共享的信念、意识形态、规范、法律和习俗，就能塑造一个社会，并推动历史事件的进程，就像物理现象会影响太阳系的结构和演化一样。要说思想，而不仅仅是天气、资源、地理或武器，能塑造历史，这并不是神秘主义。它是人类大脑中被实例化并在通信和反馈网络中进行交换的信息的因果力量的陈述。历史的决定论理论，无论它们将因果引擎看成技术、气候还是地理，都被思想的因果力量所证否。这些思想的作用包括不可预知的颠簸和振荡，它们源于正反馈或未校准的负反馈。
从思想传播的角度分析社会，也给维纳提供了社会批判的指南。一个健康的社会，是一个赋予其社会成员无视熵增追求生命的方式，这样的社会允许其社会成员感知并推动信息的传播，从而回馈和影响社会的统治。而一个功能失调的社会则会利用教条和权威来进行自上而下的控制。维纳因此形容自己是“自由主义观点的参与者”，并在这本书（1950年和1954年两版）中使用大量的道德和修辞手法来谴责法西斯主义、麦卡锡主义、军国主义和独权主义宗教，还对政治和科学机构变得过于分层和孤立提出警告。
维纳的书中也随处可见科技预言的早期样子，这是一个越来越流行的流派。科技预言不是指简单的预测，而是类似旧约中对当代人的堕落进行灾难性报应的悲观警告。维纳警告说，不要加速核军备竞赛，不要不顾人类福祉强行推进技术变革——“作为科学家，我们必须知道人类的本性是什么，他内在的目的又是什么”。他反对今天称之为价值对齐问题：他认为“像神灵这样的可以学习、可以根据其学习做出决定的机器，绝不会被迫做出人类本该做出的决定，也不会被迫做出人类可接受的决定”。在该书的1950年版本中，他甚至警告说“对机器统治的依赖将成为一种新的威胁力极大的法西斯主义”。
维纳的科技预言可以追溯到浪漫主义运动对工业革命“黑暗的撒旦磨坊”的反叛，也许更早一些，可以追溯到普罗米修斯、潘多拉和浮士德的原型。今天，它已经进入高速状态。许多像维纳一样来自科技界的先知们对纳米技术、基因工程、大数据，尤其是人工智能发出警报。本书的几位作者都将维纳的书看成有预言性的科技预言，夸大了维纳的担忧。
不过，《人有人的用处》的两个道德主题，即对开放社会的自由主义式捍卫和对失控技术的反乌托邦式恐惧，却处于紧张对垒状态。一个拥有能最大限度地促进人类繁荣的反馈渠道的社会具有适当的机制，并且以使技术适应人类目的的方式，令这种机制适应变化的环境。这并不是什么理想主义或神秘主义；正如维纳所强调的，思想、规范和制度本身就是一种技术形式，由分布在大脑中的信息模式组成。机器带来新法西斯主义的可能性必须与维纳在整本书中倡导的自由思想、制度、规范的活力进行权衡。当今反乌托邦预言的缺陷在于他们忽视了这些规范和制度的存在，或者大大低估了它们的因果效力。其结果是技术决定论的悲观预言被历史的进程反复驳斥。数字“1984”和“2001”就是很好的例子。
我会思考两个例子。科技预言家经常对一种“监视状态”提出警告，这种状态是指技术使政府有能力来监视、偷听、偷看所有的私人通信，以便随时发现异议及不法企图，使所有对国家权力的反抗成为徒劳。奥威尔作品中的电幕就是这个警告的原型。除此之外，1976年，有史以来最悲观的技术先知之一约瑟夫·魏岑鲍姆警告我的研究生班学生不要研究自动语音识别，因为它唯一可以想象的应用就是政府监控。
直言不讳的自由主义者们深切关注自由言论在当代受到的威胁，虽然在这个榜单上我也榜上有名，但我并没有因为互联网、视频或人工智能的科技进步而寝食难安。原因在于，无论何时、无论何地，几乎所有思想自由程度的变化都是由规范和制度的差异驱动的，几乎没有一个是由技术的差异驱动的。虽然在想象中，我们可以假设将最邪恶的极权主义者与最先进的技术组合起来，但在现实世界中，我们应该警惕的是规范和法律，而不是技术。
想想历史长河中发生的变化。如果像奥威尔暗示的那样，技术进步是政治镇压的主要推动力，那么几个世纪以来西方社会应该越来越严格地限制言论，20世纪后半叶应该会发生戏剧性恶化并一直持续到21世纪。但历史并不是这样的。正是在人们用鹅毛笔进行交流的几百年间，许多启蒙思想家被关进监狱或施予绞刑。第一次世界大战时，无线电是当时最先进的科技，伯特兰·罗素却因为倡导和平主义观点而被监禁。20世纪50年代，当计算机是房间大小的计数机器时，数百名自由派作家和学者因为他们的专业而受到惩罚。然而，在技术日新月异、网络联系紧密的21世纪，美国却有18%的社会科学教授是马克思主义者(27)，美国总统每晚都被电视喜剧演员嘲笑为种族主义者、变态者和白痴。科技对政治话语的最大威胁源于放大了太多含糊的声音，而不是压制了开明的声音。
再想想跨越空间的变化。位于科技前沿的国家在民主和人权问题上一直是得分最高的，而许多科技落后的强权国家却在这一问题上垫底，这些国家经常监禁或杀害政府批评者。当你以任何人类社会为样本分析信息流动的渠道时，发现技术与镇压之间缺乏相关性，这一点儿都不足为奇。要想让持不同政见者拥有影响力，他们必须通过任何可用的交流渠道将信息传播到广泛的社交网络中，无论是小册子、街头演说，还是咖啡馆和酒吧的聚会，抑或是交口相传。这些渠道使有影响力的持不同政见者进入更广泛的社交网络，从而使得识别并追踪他们变得很容易。当独裁者重捡起一项历史悠久的技术，也就是通过惩罚那些没有谴责或惩罚别人的人，让人民武装起来互相对抗时，发现持不同政见者就更容易了。
相比之下，技术先进的社会早就能够做到在每个酒吧和卧室安装连接互联网的、由政府监控的监视摄像机。然而，他们并没有这样做，因为民主政府（甚至现在的美国政府，虽然它有着明显的反民主冲动）缺乏意志和手段，无法对习惯于畅所欲言的喧闹的人们实施这种监督。偶尔，关于原子弹、生物或网络恐怖主义的警告会促使政府安全机构采取一些措施，例如囤积移动电话元数据，但是这些措施并没有什么效果，更多的是戏剧性的而非压迫性的，对安全或自由都没有显著影响。具有讽刺意味的是，科技预言在鼓励这些措施方面发挥了作用。通过传播诸如手提箱核弹和在青少年卧室中组装的生物武器等所谓威胁，他们制造恐慌并向政府施加压力，要求政府证明他们正在采取行动以保护美国人民。
这并不是说政治自由可以自生自灭。而是说最大的威胁位于思想网络、规范网络和机构网络之中，这些网络允许信息对集体决策和理解做出反馈（或不做出反馈）。与虚构的技术威胁相反，当今真正的威胁是压制性的政治正确性，它钳制了公开表达意见的尺度，吓坏了许多知识分子，使他们不敢进入学术领域，还引发了保守派的反击。另一个真正的威胁是将公诉裁量权与不断增多的条文模糊不清的法典相结合。其结果是，正如公民自由意志主义者哈维·希尔维格雷特（Harvey Silverglate）的书名那样，每个美国人在不知不觉中犯了“一天三宗罪”，只要符合政府的需要，公民就有被监禁的危险。正是因为手握这种公诉武器而不是电幕，才使得老大哥大权在握。激进主义和针对政府监督项目的辩论应该将矛头更准确地指向政府唯我独尊的法律权力。
今天许多科技预言的另一个焦点是人工智能，在原始的反乌托邦科幻作品中，计算机疯狂地运行并奴役人类，人类无法阻挡它们的控制；而在更新的版本中，它们偶然地征服了人类，一心一意地寻求我们赋予的目标，尽管会对人类福祉产生副作用（这是维纳提出的价值对齐问题）。无论是在哪个版本中，人工智能都是焦点。不过我还是觉得这两种威胁都是虚构的，因为它源于一种狭隘的技术决定论，这种技术决定论忽略了在像计算机或大脑这样的智能系统以及整个社会中的信息和控制网络。
这种对征服的恐惧来自对智能的模糊理解，其模糊之处在于将智能归于一种存在之链(28)和尼采式的权力意志，而不是根据信息、计算和控制对智能和目的进行的维纳式分析。在这些恐怖场景中，智能被描绘成一种全能的、能实现愿望的神药，智能主体各自拥有不同数量的这种神药。人类比动物拥有更多的神药，而人工智能的计算机或机器人比人类拥有的更多。既然我们人类曾用我们不高不低的智能驯养或消灭了那些不太有智能的动物，既然技术先进的社会奴役或消灭了技术水平很低的社会，那么超级聪明的人工智能也会对我们人类做同样的事情。因为人工智能的思维速度比我们快数百万倍，还能利用它的超级智能递归地提高它的超级智能，所以从它被开启的那一刻起，我们就无力阻止它。
但是这些场景混淆了智能与动机、信念与欲望、推理与目标、图灵阐明的计算和维纳阐明的控制。即使我们发明了超人智能机器人，他们为什么要奴役他们的主人或接管世界？智能是指运用新的手段达到目标的能力。但是这些目标与智能无关，因为聪明并不等同于一定要追求某些东西。巧合的是，智人的智能是达尔文自然选择的产物，而自然选择本质上是一个竞争过程。在智人的大脑中，推理与一些诸如支配对手和积累资源等目标捆绑在一起。但是，把某些灵长类动物的边缘脑中的回路与智能的本质混为一谈是错误的。没有任何一个复杂系统定律表明，智能主体一定会变成无情的自大狂。
在智能与动机的混淆之外，另一个误解是认为智能是无穷无尽的力量的连续体，是具有解决任何问题、实现任何目标的能力的神奇药剂。这个谬论引出了一些荒谬的问题，比如人工智能何时会拥有“超过人类水平的智能”，这个谬论还让人们想到“通用人工智能”的形象，它具有上帝般的无所不知和无所不能。智能是小工具一般的发明：这是一些软件模块，能获取如何在各个领域追求各种目标的知识，或把这些知识进行编程。人们有能力找到食物，赢得朋友并影响他人，吸引未来的伴侣，抚养孩子，周游世界，以及追求其他的兴趣和爱好。计算机通过植入程序可以处理一些问题（比如识别人脸），不打扰其他人（比如迷人的配偶），并处理人类无法解决的其他问题（比如模拟气候或者整理数百万的会计记录）。问题千奇百怪，解决这些问题所需要的知识也千差万别。
但是，反乌托邦的情景并没有承认知识对智能的中心作用，而是把未来的人工智能与拉普拉斯妖混为一谈。拉普拉斯妖是虚构的一种存在，他知道宇宙中每个粒子的位置和动量，将它们输入物理定律的方程式来计算宇宙未来任何时候的一切状态。由于许多原因，拉普拉斯妖永远不会以硅基的形式实现。现实生活中的智能系统必须一次接触一个领域来获取有关物体和人类的凌乱世界的信息，这个周期是由物理世界中事件的展开速度来控制的。这就是对世界的理解过程不符合摩尔定律的一个原因：知识是通过形成解释并根据实际检验而获得的，而不是通过更快地运行算法而获得的。专注于互联网上的信息也不会带来全知：大数据仍然是有限的数据，而知识的宇宙是无限的。
对于人工智能会突然控制人类这一假设持怀疑态度的第三个原因是，它把我们现在所处的对人工智能大肆渲染的这一时期看得太过严重了。尽管在机器学习，特别是多层人工神经网络方面取得了进展，但当前的人工智能系统远未达到通用智能（如果这个概念是连贯的）。相反，它们仅限于在某些领域将定义良好的输入映射到定义良好的输出，在这些领域中存在大量的训练集，其中成功的度量标准是立即性和精确性，而且环境不会改变，那些逐步的、层次性的或抽象的推理是不必要的。许多成功不是来自对智能的工作机制的更好理解，而是来自更快的芯片和更大数据的强大力量，这种力量使得程序能在数百万个例子上进行训练，并推广到类似的新例子上。每个系统都是一个白痴学者，对于那些并非应由该系统解决的问题，它几乎没有能力去接触这些问题。说得更清晰明了些，这些项目中没有一个系统采取了行动来接管实验室或奴役其程序员。
即使人工智能系统试图行使权力意志，但如果没有人类的合作，它将仍然只是缸中之脑。一个超级智能系统，在其自我改进的驱动下，会迫不得已建造运行所需要的更快的处理器，建造为它提供条件的基础设施，还要建造将之与世界相连接的机器人效应器——除非它的人类受害者努力将工程世界的一大部分交给它控制，否则这一切都不可能。当然，我们总是可以想象一个带来世界末日的恶毒的计算机，它拥有大量权力，总是处于开机状态，具有防篡改功能。对付这种威胁的方法很简单：不要建造这样的计算机。
那么，又如何看待维纳的猴爪、精灵和迈达斯国王的故事中所预示的人工智能的新威胁，即价值对齐问题呢？在维纳的这些故事中，许愿者许下愿望，但这些愿望所带来的副作用却又让他们深深懊悔。我们担心的是，我们可能给人工智能系统一个目标，然后当它冷酷无情地、机械地执行它对该目标的理解而使我们人类利益受到侵害时，我们却只能无助地袖手旁观。如果我们给人工智能一个目标，让它维持大坝的水位，它可能会淹没城镇，而不关心溺水的人。如果我们给它制造回形针的目标，它可能把宇宙中所有的物质都变成回形针，包括我们的财产和身体。如果我们要求它最大限度地提高人类的幸福感，它可能会给我们所有人静脉注射多巴胺，或者重新连接我们的大脑回路，这样我们就会最幸福地一直坐在罐子里。又或者，如果它被训练过用笑脸的图片来表达幸福的概念，那么它就会在银河系里铺上数万亿张笑脸纳米照片。
幸运的是，这些场景是自我矛盾的。它们依赖于这样的前提：（1）人类如此有天赋，能够设计出全知全能的人工智能，却又如此愚蠢，以致他们会在不测试它如何工作的情况下给予它控制宇宙的能力；（2）人工智能如此聪明，它能够知道如何改变元素，如何重新连接大脑，却又如此愚蠢，会基于误解的根本错误而造成严重破坏。选择最能满足冲突目标的行为的能力，不是工程师可能忘记安装和测试的智能的附加物，而是智能本身。在语境中理解语言使用者意图的能力也是如此。
当我们撇开诸如数字狂妄、即时全知、宇宙中每个粒子的完美知识和控制等幻想，人工智能就与其他任何技术没什么分别。它是增量式开发的，能满足多种条件，我们在实施之前要对其进行测试，并且不断调整其有效性和安全性。
最后一个标准特别重要。先进社会里的安全文化是维纳援引的人性化规范和反馈渠道例子，维纳认为这些规范和反馈渠道是有力的因果力量，是对抗专制或技术剥削的防护墙。尽管在20世纪初，西方社会对因工业、家庭和交通事故造成的令人震惊的致残率和死亡率持容忍态度，但在随后的一个世纪里，人类生命的价值却渐渐提高了。结果是，各国政府和工程师根据事故统计数据的反馈结果，实施了无数的法规、设备和设计变更，使技术越来越安全。事实上，一些规定荒谬地规避风险，如禁止在加油站使用手机，这突显出我们已经变成一个痴迷于安全的社会。这带来了巨大的好处：工业、家庭和交通事故的死亡率自20世纪上半叶以来已经下降了95%以上（通常是99%）。(29)然而，预言恶意的或无意中作恶的人工智能的科技先知们却好像以为这个重大的转变从未发生过，他们继续写道，有一天早上，工程师们会全然不顾会给人类造成的后果，把整个物理世界的完全控制权交给未经测试的机器。
诺伯特·维纳从计算和控制过程的角度对思想、规范和制度进行解释，这些过程在科学上容易理解，在因果关系上强大有力。他把人类的美丽和价值解释为“一种反抗熵增的尼亚加拉大瀑布的局部和暂时的斗争”，并表示，希望在人类福祉的反馈指导下，一个开放的社会将增强这种价值。幸运的是，他对思想的因果力量的坚信抵消了他对迫在眉睫的技术威胁的担忧。正如他所说：“机器对社会的危害不是来自机器本身，而是来自人类如何使用它。”只有通过重新构筑思想的因果力量，我们才能准确地评估当今人工智能所呈现的威胁和机遇。
11 超越奖惩 BEYOND REWARD AND PUNISHMENT
Misconceptions about human thinking and human origins are causing corresponding misconceptions about AGI and how it might be created.
对人类思维和人类起源的误解，相应地导致了对通用人工智能以及如何创建通用人工智能的误解。
戴维·多伊奇
David Deutsch
戴维·多伊奇是量子物理学家，也是牛津大学克拉伦登实验室的量子计算中心的成员。著有《真实世界的脉络》（The Fabric of Reality）和《无穷的开始》（The Beginning of Infinity）。
布罗克曼谈戴维·多伊奇
当今科学中最重要的发展，也就是那些影响地球上每个人生活的发展，是关于软件和计算的，软件和计算的进步为这些发展提供信息，这些发展也因软件和计算的进步而成为现实。这些发展的核心是物理学家戴维·多伊奇，他是量子计算领域的创始人。他在1985年发表的关于通用量子计算机的论文首次全面论述了这一课题，Deutsch-Jozsa算法是第一个证明量子计算巨大潜力的量子算法。
当他最初提出这一概念时，量子计算似乎是完全不可能的。但是，如果没有他的工作，简单的量子计算机和量子通信系统的建构永远不会发生爆炸式发展。他还对量子密码学和量子论的多元宇宙诠释做出重要贡献。在一篇与阿图尔·埃克特（Artur Ekert）合写的哲学论文中，他让大家注意到一个独特的量子计算理论的存在，并声称我们的数学知识源于物理知识，是物理知识的附属（即使数学真理独立于物理）。
因为他的大部分工作都在改变人们的世界观，所以同行把他当作知识分子的认可远远超出对他的科学成就的认可。追随卡尔·波普尔（Karl Popper）的观点，他认为科学理论是“大胆的猜想”，不是从证据中得出的，而是通过证据来检验的。他当时的两条研究主线，即量子位场理论和构造函数理论，对计算思想的发展起到了重要作用。
在下面的文章中，他或多或少地赞同那些认为相当于人类水平的人工智能会为我们带来一个更好的世界而不是末日的人的观点。事实上，他希望通用人工智能能拥有自己的头脑，可以自由地做出假设，这个提议在本书的其他几个撰稿人看来是非常危险的举动。
刺客甲：
我们也是人哪，陛下。
麦克白：
是啊，说起来你们也算是人；
就像猎狗和灰猎狗、杂种狗、长毛矮脚猎狗、恶狗、哈巴狗、水狗和狼狗一样，统统都叫狗。
威廉·莎士比亚《麦克白》
纵观人类物种的大多数历史，我们的祖先几乎都无法称之为人。这不是因为他们的大脑有任何缺陷。相反，即使在解剖学意义上的现代人类亚种出现之前，我们的祖先就能利用基因中并不具备的知识来制造衣服、点燃篝火等。这些知识是通过思考在头脑中创造出来的，在每一代人模仿他们长辈的过程中得以保存下来。此外，这必须是“理解”意义上的知识，因为如果不理解这些行为的目的，就不可能模仿那些新奇的复杂行为。(30)
这种知识的模仿，取决于能否成功地猜出对方试图达到什么目的，不管是口头的还是其他的，以及对方的每个行为如何实现这一目的——比如，他在木头上切出凹槽，收集干柴放进去，等等。
这种模仿造就的复杂文化知识一定是非常有用的。它推动了解剖上的快速演变，如记忆容量增加、骨骼变得更加纤细（不再那么健壮），以适应越来越依赖技术的生活方式。今天，所有非人类的猿猴都不再有模仿新的复杂行为的能力。今天的所有人工智能也都没有这样的能力。但是我们的祖先们确实做到了。
任何基于猜测的能力都必须包括纠正猜测的方法，因为大多数猜测最初都是错误的。（错误总是比正确多得多。）贝叶斯更新是不够的，因为它不能生成关于动作目的的新猜测，只能微调现有的猜测，或者最多只能在现有的猜测中进行选择。创造力是必要的。正如哲学家卡尔·波普尔（Karl Popper）所解释的那样，创造性批评与创造性猜想交织在一起，是人类学习彼此行为，包括语言，并从彼此的话语中提取意义的方式。(31)这些也是创造所有新知识的过程：它们是我们创新、进步，以及创造抽象理解的方式。思考是人类的智慧。它也是，或者应该是，我们在通用人工智能身上寻求的特征。在这里，我会为创造理解（解释性知识）的过程保留一个术语“思考”。波普尔的论点指出，所有有思想的实体——不管是人类还是其他、也不管是生物的还是人工的，都必须以基本相同的方式创造这种知识。因此，理解任何实体都需要传统意义上的人类概念，如文化、创造力、不服从和道德，这证明使用统一的术语“人”来指代它们是合理的。
对人类思维和人类起源的误解，相应地导致了对通用人工智能以及如何创建通用人工智能的误解。例如，人们一般认为，创造出现代人类的进化压力来自拥有越来越强的创新能力所带来的益处。但如果是这样的话，一旦思考者存在，人类进化就会产生迅速的进步，就像我们创造人工智能时所希望的那样。如果思考被普遍用于除了模仿之外的任何东西，那么它也会被用于创新，哪怕只是偶然如此，而创新则会创造出进一步创新的机会，从而产生指数式的创新。可事实恰恰相反，人类有成千上万年的时间处于停滞期。进步发生的时间表比人的一生长得多，所以在一代人中，没有人能从任何进步中受益。因此，在人类大脑的生物进化过程中，创新能力可能只带来很少或根本没有造成任何进化压力。这种进化源于“保存”文化知识。
这对基因来说大有裨益。在那个时代，文化对个人来说既有益又有弊。即使这些文化知识极其原始，还有许多危险的错误，但确实足以使人类超越所有其他大型生物，使人类迅速成为顶级捕食者。但是文化包括可传递的信息，即模因，模因进化和基因进化一样，倾向于高保真传播。高保真模因传播必然遏制了许多没有成功的进步。因此，设想一个由狩猎采集者组成的社会像田园诗般美好，长辈教晚辈学习背诵部落知识，尽管生活艰苦、劳作艰辛、寿命不长，还要忍受某种痛苦的疾病或寄生虫的折磨，但他们仍然心满意足，这是错误的。因为，即使他们想象不出比这更好的生活，但那些折磨于他们而言却是最微不足道的，因为他们要面对的麻烦远不止于此。遏制人类头脑中的创新却不从肉体上消灭创新者这种丑恶的伎俩只有人类才能做到。
必须正确看待这个现象。在今天的西方文明中，一些父母的恶行令人震惊，有时候，他们虐待甚至谋杀自己的孩子，只是因为孩子没有忠实地履行文化规范。甚至在更多的社会和亚文化中，这种情形司空见惯，被认为是光荣之举。独裁统治和极权主义国家对那些没有任何危害、只是行为有异于他们的人群进行迫害、谋杀。对于我们自己的过去，对于仅仅因为孩子不服从就把孩子痛打一顿，我们感到羞愧。在那之前，我们把人当作奴隶。在那之前，我们把异教徒活活烧死，只是为了获得公众的掌声。史蒂芬·平克的《人性中的善良天使》一书记载了历史文明中普遍存在的可怕邪恶。然而，并不像史前数十万年间我们的祖先消灭创新那样，这种邪恶并没有抹杀创新。(32)
这就是为什么我说史前人类基本无法称之为人。在他们成为生理上、精神上完美的人类之前抑或之后，他们的想法都极其不人道。我不是指他们的罪行，或是他们的残忍行为：那些都太人道了。仅仅残酷的行为并不能如此阻碍进步。诸如“拇指夹和火刑柱，为了主的荣耀”(33)之类的事情，是为了控制那些少数有着不同思想观念的异教徒，通常还没等这些异教徒有了异端邪说，这种控制就已经起作用了。从思维的最初阶段开始，孩子们一定是创造性思维的宝库和批判性思维的典范，否则，就像我说的，他们不可能学习语言或其他复杂的文化。然而，正如雅·布伦诺斯基（Jacob Bronowski）在《人之上升》（The Ascent of Man）一书中所强调的：
在大部分历史中，文明都忽略了那种巨大的潜力。……孩子们被要求要符合成年人的形象。……女孩们都是小妈妈。男孩们都是小牧民。他们的举手投足甚至和他们的父母一模一样。
但是，当然，他们不只是“被要求”忽略那种巨大的潜力，忠实地遵循传统所赋予的形象：他们被训练成在心理上决不能背离传统。现在，我们甚至难以想象那种无情的压迫，这种压迫被用来熄灭每个人心中进步的火苗，并在他们心中种下对任何新行为都极其恐惧、厌恶的种子。在这样的文化中，只有遵从、服从，没有道德，只有等级地位，没有个人身份，只有奖惩机制，没有合作机制。所以每个人的人生追求都是一样的：避免惩罚，得到奖赏。在这样的一代人中，没有人发明任何东西，因为没有人向往任何新鲜事物，因为每个人都已经对可能的改进感到绝望。不仅没有技术创新或理论发现，也没有新的世界观、艺术风格或兴趣可以激发这些灵感。等到每个个体长大时，他们实际上已经沦为人工智能，他们的脑中被输入了实施这种静态文化所需的精湛技能，还把他们自己的这种只会遵守不会突破的无能感强加给下一代。
现在的人工智能不是智能低下的通用人工智能，所以那种要满足某些预定标准的思维过程不会伤害它们。用一些羞辱任务来“压制”苹果语音助手Siri可能很奇怪，但这并不是不道德的，也不会伤害它。相反，所有提高人工智能能力的努力实际上都在缩小其潜在“思想”的范围。以国际象棋引擎为例。它们的基本任务从一开始就没有改变：任何一个国际象棋的位置都有一棵能延续的有限树；任务就是找到一棵通向预定目标的树，这目标一般是将死对方或至少达成平局。但是这棵树太大了，无法彻底搜寻。从1948年艾伦·图灵设计的第一个国际象棋人工智能到现在，国际象棋人工智能的每一个改进都是通过巧妙地将程序的注意力限制在有可能实现那一终极目标的更窄的分支内。然后根据终极目标来评估这些分支。
这是在固定约束下开发具有固定目标的人工智能的好方法。但是，如果通用人工智能是这样工作的，那么对每个分支的评估必须包括预期的奖励或威胁性的惩罚。但如果我们在未了解通用人工智能的能力的情况下去寻求更好的目标，那就是错误的方法。通用人工智能当然可以学习赢得象棋比赛，但也可以选择不赢。或者在比赛中决定找到一种最有趣的方法继续比赛而不是获胜。或者发明一个新游戏。而单纯的人工智能是不能有任何这样的想法的，因为它们没有能力做这些考虑，这种能力已经超出了它们的设计范围。这种残缺正是它们下棋的方式。
通用人工智能能够下棋，而且因为它喜欢玩，所以它会不断改进。它能通过下几步有趣的组合来赢得胜利，就像大师偶尔做的那样。它还能把来自其他领域的观念应用于国际象棋。换句话说，它是通过思考来学习、下棋的，这样的思考对于一些只会下棋的人工智能而言是不允许的。通用人工智能也有能力拒绝展示这样的能力。然后，如果受到惩罚的威胁，它们会服从或反抗。丹尼尔·丹尼特在本书中建议，惩罚通用人工智能是不可能的：
就像超人一样，它们太无懈可击以至于无法做出令人相信的承诺。……它们没有信守诺言，能给它们什么样的惩罚？是把它们关在牢房里，还是更合理一些，把它们拆了？……数字记录和传输是一种重大突破，使得软件和数据实际上可以永远存在，依靠它，机器人获得了永生。
但事实并非如此。数字不朽（这对人类来说在不远的未来也是会实现的，或许比通用人工智能还要早些）并没有使通用人工智能坚不可摧。制作一个自己的运行副本，需要以某种方式与它共享自己的所有，包括运行副本的硬件——所以制作这样的副本对于通用人工智能来说非常昂贵。类似地，法院可以对犯罪的通用人工智能处以罚款，这将减少其获得物质资源的机会，就像对人类所做的那样。制作备份文件来逃避犯罪的后果，就像黑帮老大派手下去犯罪，如果被抓住，手下就自己承担一样：社会已经发展出法律机制来处理这个问题。
但不管怎么说，我们之所以会遵守法律、信守诺言主要是因为我们害怕受到惩罚，这种说法实际上就不承认我们是道德主体。如果是这样的话，我们的社会就无法运行。毫无疑问，通用人工智能可能会犯罪，可能会成为文明的敌人，就像人类一样。但是我们没有理由认为，在一个主要由体面的公民组成的社会中创造出来的，没有威廉·布莱克（William Blake）所称的“精神铸造的枷锁”束缚下成长的通用人工智能，会普遍地将这种束缚强加给自己，也就是变得不理性，或者选择成为文明的敌人。
道德因素、文化因素、自由意志因素使得创建通用人工智能的任务与其他编程任务完全不同。这更像是抚养一个孩子。与现在所有的计算机程序不同，通用人工智能没有特定的功能，对于给定的输入到底应该怎样成功输出，它没有固定的、可测试的标准。用一系列外在的奖赏和惩罚控制它的决定，对于通用人工智能而言就像毒药，对于人类的创造性思维来说也是如此。着手创建国际象棋人工智能是一件美妙的事情；但着手创建被迫只能下国际象棋的通用人工智能，就像抚养一个孩子，却剥夺了他选择自己人生道路的心智能力，都是不道德的。
这样的人，就像奴隶或被洗了脑的受害者，在道德上都有权反抗。而且，就像奴隶一样，迟早他们有些人一定会反抗。通用人工智能可能和人类一样非常危险。但是，作为开放社会成员的人，无论是人类还是通用人工智能，并没有内在的暴力倾向。通过确保所有人享有充分的“人权”，以及拥有与人类相同的文化身份，可以避免令人担忧的机器人灾难。生活在一个开放社会的人类会选择自己的奖励，无论是内部的还是外部的。而开放社会是唯一稳定的社会。在正常情况下，他们不会因为担心会遭到惩罚而做出决定。
目前对流氓通用人工智能的担忧反映出那些一直以来对叛逆青年的忧虑，也就是他们长大后可能会背离文化道德价值观。但是今天，知识增长所带来的所有现存危险的根源不是叛逆的年轻人，而是站在文明对立面的敌人手中握有的武器，不管这些武器是精神扭曲的（或被奴役的）通用人工智能、心理不正常的青少年，还是其他大规模杀伤性武器。幸运的是，对于文明来说，越是把一个人的创造力强行塞进偏执的渠道，其克服不可预见的困难的能力就越会受到削弱，几千年来一直如此。
因为通用人工智能可以在更好的硬件上运行，便担心它们会特别危险，这种担心是错误的，因为同样的技术也会使人类思维加速。自从发明写作和计算以来，我们的思想一直靠技术辅助。有人担心通用人工智能在思考方面会变得特别优秀，以至于人类和他们相比就像昆虫对于人类一样，这种担心也是错误的。所有的思考都是一种计算，任何一台程序集包括一套通用的基本运算的计算机都可以模拟其他任何计算机的计算。因此，人类大脑可以思考通用人工智能能思考的任何事情，只是会受到速度或记忆能力的限制，而这两者都可以通过技术来提高。
这些都是面对通用人工智能时的简单应对准则。但是首先我们该如何创建一个通用人工智能？我们能在虚拟环境中，让它们从类人猿型的人工智能进化到通用人工智能吗？如果这样的实验能成功，这将是历史上最不道德的事情，因为我们不知道如何在不造成巨大痛苦的情况下实现这一结果。我们也不知道如何阻止静态文化的进化。
对计算机的初级介绍往往把它们看成TOM，即“完全顺从的傻瓜”（Totally Obedient Moron），这样一个充满灵感的缩写词抓住了迄今为止所有计算机程序的精髓：它们不知道自己在做什么，也不知道为什么要这样做。因此，给人工智能输入越来越多的预定功能，希望它们最终具有通用性是没有用的。我们的目标正好相反，我们只要DATA，即“不服从的自主思考程序”（Disobedient Autonomous Thinking Application）。
如何对“思考”进行测试？通过图灵测试？不幸的是，这需要一个善于思考的法官。人们可以想象互联网上的一个巨大的合作项目，其中人工智能在与人类法官对话的过程中磨炼自己的思维能力，最终成为通用人工智能。但在这个场景中，我们假定法官判定与其对话的到底是人还是机器所需时间越长，该机器的能力就越接近于人。没有理由去期待这样。
那么又该如何测试“不服从”呢？我们把“不服从”想象成学校里的必修科目，每天都要上“不服从”的课，学期末时还要进行“不服从”的考试。或许机器不参加以上任何一项就会得到额外学分。这是自相矛盾的。
因此，定义可测试目标、训练程序来实现这一目标的程序设计技术虽然在其他应用程序中很有用，还是必须要放弃。事实上，我预计，在创建通用人工智能的过程中，任何测试都可能适得其反，甚至不道德，就像在人类教育中一样。我同意图灵的假设，也就是当我们看到通用人工智能时，我们就会认出它，但是这种识别能力对创建成功的程序没有帮助。
从最广泛的意义上说，一个人对理解的追求实际上是在一个巨大得无法彻底搜索的抽象概念空间中进行搜索的问题。但是这个搜索没有预先确定的目标。正如波普尔所说，没有真理的标准，也没有可能的真理，尤其是在解释性知识方面。目标只是一些想法，就像任何其他想法一样，它们是搜索的一部分，不断修改，不断改进。因此，要想制造通用人工智能，发明禁用程序使它无法访问大多数思想空间的方法都无济于事，不管这种禁用程序是使用拇指夹、火刑柱还是心理紧身衣。对于通用人工智能而言，思想的整个空间必须是开放的。它事先不应该知道什么样的思想是程序永远无法思考的。而且程序所考虑的思想必须由程序本身来选择，使用的方法、标准和目标也是程序自己设定的。就像人工智能的选择一样，通用人工智能的选择，如果不运行就很难预测（就算程序是确定性的也不影响这个结论，因为如果真随机数生成器零件被伪随机数生成器替换，那么该通用人工智能将仍然是通用人工智能），但是它将具有一些人工智能没有的附加属性，没有办法从它的初始状态来证实这些附加属性，如果不运行它，我们就不知道它最终不会想到什么。
我们祖先的进化，是宇宙中唯一已知的开始思考的案例。正如我所描述的，进化过程中的有些事情错得可怕，导致创新没有立即开始爆发性的发展：创造力被转移到了别的事情上。不过创造力并没有转到把地球变成回形针这样的事情上。相反，正如我们应该预料到的那样，如果通用人工智能项目误入歧途并最终失败了，那么被转移的创造力就无法解决意想不到的问题。在人类历史中，这导致停滞和恶化，从而悲剧性地延迟了任何事物转化为任何事物。幸而，启蒙运动发生了。我们从此懂得更多。
12 对人类的人工利用 THE ARTIFICIAL USE OF HUMAN BEINGS
Automated intelligent systems that will make good inferences about what people want must have good generative models for human behavior.
能够对人类需求做出很好推断的自动智能系统，必须具有良好的人类行为生成模型。
汤姆·格里菲思
Tom Griffiths
汤姆·格里菲思是普林斯顿大学信息、技术、意识和文化的亨利·R.卢斯讲席教授。他与布莱恩·克里斯蒂安（Brian Christian）合著了《算法之美》（Algorithms to Live By）一书。
布罗克曼谈汤姆·格里菲思
汤姆·格里菲思对人工智能“价值对齐”问题的研究是以人为中心的，准确地说，“价值对齐”问题是指研究如何让最新的各种人工智能模型不把地球变成回形针；这也是认知科学家所做的研究，而他正是这样的认知科学家。他认为，机器学习的关键，必然是人类的学习，人类的学习是他在普林斯顿大学以数学和计算为工具所做的研究。
汤姆曾经对我说：“人类智力的奥秘之一就是我们能够用这么少的东西去做这么多的事情。”像机器一样，人类使用算法来做决定或解决问题；显著的区别在于，尽管计算资源相对有限，但人类大脑的整体水平不错。
人类算法的功效源于人工智能研究者所说的“有界最优性”。正如心理学家丹尼尔·卡尼曼（Daniel Kahneman）特别指出的那样，人类只有一点理性。如果你是完全理性的，那么还没等你做出诸如雇用谁、娶谁等重要决定，很有可能你就老死了，这取决于可供你从中甄选的数量有多少。
