赋予机器目的，使它能够根据明确的计算程序来优化它的行为，这似乎是一个不错的方法，可以确保“机器按照我们可接受的原则行动”。但是，就像维纳警告我们的那样，我们需要赋予机器正确的目的。这可以称之为迈达斯国王的问题：迈达斯得到了他想要的，凡是他所接触到的东西都会立刻变成金子，但很快他就发现这是一个灾难，他喝的水变成了黄金，吃的食物也变成了黄金。用专业术语表示赋予正确的目的就是“价值对齐”。如果不能“价值对齐”，我们可能会无意中赋予机器与我们自己的目标完全相反的目标。为了尽快找到治疗癌症的方法，人工智能系统可能会选择将整个人类作为豚鼠进行实验。为了解决海洋酸化，它可能会耗尽大气中的所有氧气。这是系统优化的一个共同特征：目标中不包含的变量可以设置为极值，以帮助优化该目标。
然而，无论是人工智能还是围绕目标优化的其他学科，如经济学、统计学、控制理论、运筹学等，都无法确定究竟什么是“我们真正想要的目的”。相反，这些学科假定我们只是简单地把目标赋予机器。目前人工智能的研究主要是研究机器实现目标的能力，而不是如何设计那些目标。
史蒂夫·奥莫亨德罗（Steve Omohundro）提出了一个更大的难题，他观察到智能实体必须靠行动来保护自己的存在。这与自我保护的本能或其他任何生物学概念无关，而只是因为如果实体死亡，它就无法实现自己的目的。按照奥莫亨德罗的说法，一个有开关功能的超级智能机器，会采取某些行动使开关失效。(2)艾伦·图灵本人在1951年英国广播公司第三电台的谈话节目中，把这样的机器看成人类的救赎。因此，未来我们可能面临这样的情景：我们无法预知这些超级智能机器的行动，它们不完全明确的目标与我们自己的目标相冲突——为了实现这些目标而要生存下来的动机非常强大。
站不住脚的1001个理由
对于这种论点，有些人，主要是那些人工智能领域的研究人员，提出了反对意见。这些反对意见反映出一种自然的防御反应，也许还反映出对超级智能机器的能力缺乏想象。但仔细想想，这些观点一个都站不住脚。下面是常见的观点：
◎ 不用担心，我们只需把开关关上。(3)一说到超级人工智能会给我们带来的风险，往往局外人就会第一个想到这件事，就好像超级智能实体永远不会想到这件事一样。这就好比说人类败给“深蓝”或“阿尔法围棋”的可能性微乎其微，因为我们只需一步接一步地走对棋就行了。
◎ 根本不可能出现达到人类水平甚至超人类水平的机器人。(4)这是人工智能研究人员的一种不寻常的说法，因为从图灵起，他们一直在回避哲学家和数学家的这种说法。虽然没有证据支持，但这种说法似乎认为，如果有可能创造出超级人工智能，那将存在重大的风险。就好像一个公共汽车司机，车上是全体人类，他说：“是的，我正朝悬崖驶去，事实上，我正在加速！但是相信我，还没等我们到那里，汽油就会用完！”这种说法很愚蠢，它在赌人类缺乏创造力。我们以前这样赌过，但输了。1933年9月11日，著名物理学家欧内斯特·卢瑟福（Ernest Rutherford）满怀信心地说：“任何希望从这些原子转变中获得能量的人都在痴心妄想。”1933年9月12日，利奥·西拉特（Leo Szilard）发现了中子诱发的核链式反应。几年后，他在哥伦比亚大学的实验室证实了这样的反应。正如他在回忆录中所写：“我们把一切关闭，回到家。那天晚上，我脑海中非常确定，世界正走向悲伤。”
◎ 现在担心它为时过早。到底该什么时候担心人类可能要面对的这些严重问题，这不仅取决于问题发生的时间，还取决于制定和实施避免风险的解决方案所需的时间。例如，如果我们探测到在2067年将有一颗大型小行星与地球相撞，我们会说“现在担心它为时过早”吗？如果我们预计由于气候变化会在21世纪末发生全球性灾难，现在采取行动阻止它还为时过早吗？不早！相反，可能是为时已晚。我们无法预测什么时候会有达到人类水平的人工智能，但是，像核裂变一样，它可能会比预期的时间来得早。关于这一论点，还有另一种说法，就像吴恩达所说的：“这就像担心火星上会人口过剩。”这是一个类比：它说明这种风险不仅很容易控制，而且距离我们太过遥远，不仅如此，从一开始，我们甚至不太可能会尝试把数十亿人迁徙到火星上。但是，这一类比是错误的。我们现在已经投入巨大的科学技术资源来创造越来越有能力的人工智能系统。一个更贴切的类比应该是我们欲把人类迁往火星，但却没有考虑到，我们一旦到达，该呼吸什么、喝什么或吃什么。
◎ 无论如何，达到人类水平的人工智能并不是真的很快就会出现。例如，斯坦福大学的《人工智能百年报告》告诉我们：“与大众媒体对人工智能的神奇的预测相反，研究小组发现我们没有理由担心人工智能眼下就会对人类造成威胁。”这一论点扭曲了我们担忧的原因，我们并不是担心这种威胁迫在眉睫。尼克·波斯特洛姆在他2014年出版的《超级智能》（Superintelligence）一书中写道：“人工智能是否即将有重大突破，或者我们可以精确地预测什么时候会有这样的突破，这并不是本书要探讨的内容。”
◎ 你只是一个卢德分子。这么说很奇怪，因为如此定义的话，卢德分子将包括图灵、维纳、明斯基、马斯克和盖茨在内的那些在20世纪和21世纪对科技进步做出最杰出贡献的人。(5)这个称呼也说明大家完全误解了这种担忧的性质和原因。这就好像说，如果他们指出人类有必要控制裂变反应，我们就要指责核工程师是卢德分子一样。一些反对派还使用“反人工智能分子”这个术语，这相当于称核工程师为“反物理学分子”。我们理解和预防人工智能会带来的风险，其目的是确保我们能够得到益处。例如，波斯特洛姆写道，成功地控制人工智能将带来“一种文明的轨迹，使人类能充满同情地、快乐地使用宇宙的馈赠”——这并不是悲观的预测。
◎ 任何足以带来麻烦的机器都非常聪明，它们有适当的利他目标。(6)（通常，这种观点有一个前提，即智力更高的人常常更有利他主义目标，这一观点可能与持这种观点的人的自我认知有关。）这一论点与休谟的“应然与实然”和G. E.摩尔（G. E. Moore）的自然主义谬误有关，这意味着，由于机器有智慧，那么鉴于它自己的世界经验，在某种程度上它会觉察到什么是正确的。这让人无法相信。例如，我们不会在棋盘和棋子的设计中认识到“将军”的目标；因为同样的棋盘和棋子可以作为自杀棋，或者还可以开发出许多其他游戏。再举个例子：在波斯特洛姆的想象中，人类被一个假定的机器人灭绝，这个机器人把地球变成回形针的海洋，我们人类会觉得这个结果很悲惨，可是吃铁的氧化亚铁硫杆菌却兴奋不已。谁会说这个细菌做错了吗？人类赋予机器固定的目标，这并不意味着它会自动认识到那些不属于目标的事物对人类来说也是重要的。机器最大化实现目标很可能会给人类带来问题，但根据定义，机器不会将这些问题识别为问题。
◎ 智能是多维的，“所以比人类更聪明”这句话没有意义。(7)这是现代心理学的主流思想，也就是说智商没有完全展现出人类拥有的不同程度的认知能力。智商确实是衡量人类智能的一种粗略手段，但对于目前的人工智能系统来说，智商毫无意义，因为人工智能在不同领域的能力是毫无关联的。谷歌搜索引擎不会下棋，而深蓝无法回答搜索查询，我们如何比较谷歌搜索引擎和深蓝的智商？
◎ 这些都没有支撑这一论点，也就是“因为智能是多方面的，所以我们可以忽略超级智能机器带来的风险”。如果“比人类更聪明”这一概念没有意义，那么“比大猩猩更聪明”也毫无意义，因此大猩猩不需要害怕人类；但很显然，这么说当然站不住脚。在所有相关的智能维度上，一个实体比另一个实体更有能力，这在逻辑上是可能的，不仅如此，一个物种会对另一个物种的生存造成威胁，即使前者无法欣赏音乐和文学，这也是可能的。
解决之道
我们能直面维纳的警告吗？我们能否设计出一种人工智能，使它的目的与人类的不冲突，从而可以确保我们对它们的表现很满意？表面上看，这似乎完全不可能，因为无疑我们无法准确写下人类的目标，也不可能想象出人工智能在实现这些目标时所采用的所有违反直觉的方式。
如果我们把超级智能的人工智能系统看成来自外太空的黑盒子，那么我们就没有什么希望。相反，如果我们想要对结果有信心，那必须采取的方法就是定义什么是形式的“问题F”，然后再把人工智能设计成“问题F的解决者”，这样，无论这个系统以什么方式解决了“问题F”，我们都会对解决方案感到满意。如果我们能找到合适的“问题F”，那么我们就能创造出“有益的人工智能”。
下面这个例子告诉我们怎样才能不这样做：以某种标量值作为奖励，由人类根据机器在每一个时期的表现，定期给机器奖励，然后把“问题F”定义为将机器获得的预期奖励总和最大化。对于机器来说，这个问题的最佳解决方案并不是像人们所希望的那样，要好好表现，而是控制人类，强迫他或她提供最大的回报。这被称为“大脑连线”问题，根据观察发现，如果可以用电流直接刺激自己的快乐中枢，人类自己也容易受到同样问题的影响。
我相信，一定会有一种有效的方法。可以说，虽然大多数时候表现不明显，但人类对未来的生活有自己的偏好，也就是说，如果有足够的时间把未来生活的无限可能展现在人类面前，人类就可以从任意两种可能之间挑出更喜好的那一个。（这种理想化状态忽略了这种可能性，即我们的思维里有许多子系统，这些子系统的偏好各不相容；如果真的如此，这会限制机器的能力，使它无法满足我们的偏好，但这似乎并不妨碍我们设计出可以避免灾难性后果的机器。）在这种情况下，机器要解决的形式“问题F”是最大限度地满足人类对未来生活的偏好，尽管它最初对人类的偏好并不确定。此外，尽管人类对未来生活的偏好是隐变量，但这些偏好根植于大量的证据，也就是根植于所有做出过的选择。这一构想回避了维纳的问题：随着时间的推移，机器可能会对人类的喜好越来越了解，但它永远不会完全确定。
协同反向强化学习，更精确地解释了这个问题。协同反向强化学习包含两个方面，一个是人类，另一个是机器人。因为包含两个方面，所以这个问题就成了经济学家所说的“博弈”问题。这个博弈的信息是不全面的，因为虽然人类知道奖励函数，但机器人却不知道，即使机器人的任务是使其最大化。
举一个简单的例子：假设人类哈丽特喜欢收集回形针和订书钉，她的奖励函数取决于她各收集了多少。更准确地说，如果她有p个回形针、s个订书钉，她的幸福度是θp +（1-θ）s，这里θ指回形针和订书钉之间的兑换率。如果θ是1，她只喜欢回形针；如果θ是0，她只喜欢订书钉；如果θ是0.5，她对两个都一样喜欢；等等。机器人罗比的工作是生产回形针和订书钉。博弈的关键是罗比想让哈丽特高兴，但他不知道θ是多少，所以他不知道该生产多少回形针、多少订书钉。
博弈过程是这样的：让θ的真值为0.49，也就是说，在回形针和订书钉之间，哈丽特略微偏爱订书钉。我们假设罗比对θ有一个统一的先验信念，也就是说，他认为θ会是介于0和1之间的任何值。哈丽特现在做一个小演示，或者生产2个回形针，或者生产2个订书钉，或者每样生产1个。之后，机器人或者要生产90个回形针，或者生产90个订书钉，或者各生产50个。你也许会猜，因为哈丽特更喜欢回形针一些，所以应该生产2个回形针。但如果这样，罗比做出的理性反应应该是生产90个回形针，这时哈丽特的幸福度为45.9。对于哈丽特来说，这样的结果没有各生产50个要好，其幸福度为50.0。对于这个博弈，最优的解决方案是哈丽特每样各生产一个，这样罗比可以每样各生产50个。因此，我们对博弈的界定就使得哈丽特可以“教会”罗比，只要她知道罗比在仔细观察。
在协同反向强化学习框架内，人们可以构想出开关问题并解决它，也就是如何防止机器人使自己的开关失灵（图灵可以高枕无忧了）。如果一个机器人不确定人类的偏好，那么把它的开关关闭实际上对它有益，因为它知道人类会按下开关，不让它做与人类偏好相反的事情。这样，机器人就会受到鼓励保护它的开关，这种鼓励直接来自机器人对人类偏好的不确定性。(8)
上述的开关示例给出一些模板，使我们可以设计出可控机器人，它还给我们提供了至少一种很可能非常有益的系统。这个系统的总体思路类似于经济学中的机制设计问题，也就是一方激励其他方以有益于设计师的方式行事。两者的主要区别在于，我们建造一个机器人是为了使人受益。
我们有理由认为这种做法在实践中很可能是有效的。首先，我们有丰富的文字和影像资料记录了人类行事方式和其他人的反应方式。在建立超级智能人工智能系统之前，我们完全有可能根据这个资料库建立人类偏好模型。其次，让机器人了解人类偏好会带来很强的短期经济效益：如果一个设计拙劣的家用机器人不知道情感价值比营养价值更重要，它把猫给炖了当作晚饭，那么家用机器人业将破产倒闭。
然而，这里有一个明显的难题，也就是如何让机器人了解人类行为的潜在偏好。人类并不理性，他们反复无常、意志薄弱、计算能力有限，所以他们的行为并不总是反映他们真正的偏好。例如，有两个人在下棋。通常，有一方会输棋，但他不是故意的！因此，只有借助于更好的人类认知模型，机器人才能从非理性人类行为中学习。此外，现实和社会的禁锢也使人类的所有偏好无法同时得到最大限度的满足，这意味着机器人必须在矛盾的偏好中协调，为此哲学家和社会科学家已经奋斗了几千年。而从那些喜欢折磨别人的人身上，机器人应该学到什么呢？最好在机器人的计算程序中剔除这些偏好。
找到人工智能控制问题的解决方法是一项重要任务，用波斯特洛姆的话来说，这可能是“我们这个时代的关键任务”。到目前为止，人工智能的研究主要集中在设计出能更好做出决策的系统上，但这与做出更好的决策是不一样的。无论它的算法多么优秀，也不管它的世界模型多么精确，如果一个机器的效用函数与人类价值不一致，那么很可能在一个普通人眼中它的决策就是愚蠢至极。
这个问题需要我们改变对人工智能的定义，人工智能不再是一个与纯智力相关、与目标无关的领域，它是一个有益于人类的系统。认真思考这个问题，我们可能会对人工智能、它的目的以及它与人类的关系产生新的思路。
04 人工智能第三定律 THE THIRD LAW
Any system simple enough to be understandable will not be complicated enough to behave intelligently, while any system complicated enough to behave intelligently will be too complicated to understand.
任何一个简单到可以理解的系统都不会复杂到可以智能化行事，而任何一个复杂到足以智能化行事的系统都会太过于复杂而无法理解。
乔治·戴森
George Dyson
乔治·戴森是一名科技史学家，著有《海豹皮船》（Baidarka: the Kayak）、《计算机生命天演论》（Darwin Among the Machines）、《猎户座计划》（Project Orion）和《图灵的大教堂》（Turing's Cathedral）。
注：乔治·戴森的著作《图灵的大教堂》中文简体字版已由湛庐文化策划，浙江人民出版社出版。——编者注
布罗克曼谈乔治·戴森
2005年，在谷歌一些工程师的邀请下，科技史学家乔治·戴森参观了谷歌。这一天是约翰·冯·诺伊曼提出数字计算机构想的六十周年纪念日。访问结束后，乔治写了一篇题为《图灵的大教堂》的文章，第一次提醒公众记住谷歌创始人为这个世界所做的贡献。“我们扫描那些书，不是为了让人们阅读，”一位主人在他的谈话后解释说，“我们扫描这些书是为了让人工智能阅读。”
乔治对数字时代有不同看法。他对阿留申皮艇的发展过程、数字计算和电信的进化、数字宇宙的起源以及一条未实现的太空之路都感兴趣。他的职业生涯就像他的书那样无法归类——他未完成高中学业，但却被授予维多利亚大学荣誉博士。
他喜欢说，曾经被认为与微分分析机一样灭绝了的模拟计算已经再度回归。他认为，虽然我们可以使用数字组件，但在某种程度上，由系统执行的模拟计算远远超过其所构建的数字代码的复杂性。他认为，拥有从数字基础上发展而来的模拟控制系统的真正的人工智能，就像数字计算机在第二次世界大战后从模拟组件中发展起来一样，可能并不像我们想象的那样遥远。
在这篇文章中，乔治对模拟计算和数字计算之间的区别进行思考，发现模拟计算依然在盛行。人类企图通过给机器编程来控制万物，大自然对此可能回应以未被编程的机器，而没有人能控制它们。
以电子数字计算机诞生，以及它们生成的代码遍布全球的时间前后划分，计算的历史可以分为新旧两个时期。旧时期的先知有托马斯·霍布斯和莱布尼茨，他们带来的是计算的逻辑基础。新时期的先知则包括艾伦·图灵、约翰·冯·诺伊曼、克劳德·香农和诺伯特·维纳，他们带来了机器。
艾伦·图灵对如何让机器变得智能很感兴趣。冯·诺伊曼的兴趣是如何让机器能自我复制。克劳德·香农想了解如何排除噪声的干扰，让机器可靠地通信。而诺伯特·维纳想知道的是机器需要多长时间能掌握控制权。
1949年维纳发出警告，提出控制系统将脱离人类控制，当时正值第一代存储程序电子数字计算机问世。因为这些系统需要人类程序员的直接监督，所以世人并未把他的这番顾虑放在心上。只要程序员们还控制着这些系统，又能有什么问题呢？自此，关于自主控制的风险的争论便一直与对数字编码机器的威力和局限性的争论有关。虽然这些机器拥有惊人的能力，但几乎没有真正的自治。这是一个危险的假设。如果数字计算被其他东西取代了，会怎样呢？
电子工业在过去的几百年中经历了两个根本转变：从模拟到数字，从真空管到固态器件。这些转变一起发生，但并不意味着它们有着密不可分的联系。正如使用真空管可以实现数字计算一样，模拟计算也可以在固态器件中实现。即使真空管在商业上已经消失，但模拟计算仍旧十分活跃。
模拟计算和数字计算之间没有精确的区别。一般而言，数字计算涉及整数、二进制序列、确定性逻辑和被理想化为离散增量的时间。而模拟计算涉及实数、非确定性逻辑和连续函数，以及存在于现实世界中的连续时间。
想象一下，你需要找到一条路的中间点。你可以使用任何可用的增量来测量它的宽度，然后用数字方法计算出距离中间点最近的增量。或者，你可以使用一根带子作为模拟计算机，量出道路的宽度然后对折直接找到中间点。这种方法不受增量的局限。
许多系统在模拟和数字之间转换运行。一棵树将各种各样的输入整合成连续函数，但是如果你砍倒那棵树，你就会发现它一直在用数字方法计年。
在模拟计算中，复杂性存在于网络拓扑结构而不是代码里。信息被处理为诸如电压和相对脉冲频率之类的值的连续函数，而不是对离散的位串的逻辑运算。因为不能容忍错误或模糊，数字计算需要随时纠正错误。而模拟计算可以容忍错误，允许错误的出现。
自然界使用数字编码来存储、复制和重组核苷酸序列，但依赖模拟计算运行神经系统，获得智能和控制。每个活细胞中的遗传系统都是一个具有存储程序的计算机。但大脑不是。
数字计算机在两种比特之间进行转换：表示空间差异的比特和表示时间差异的比特。这两种形式的信息、序列和结构之间的转换是由计算机编程控制的，只要计算机需要人类程序员，我们就可以掌握控制权。
模拟计算机也在两种信息形式之间进行转换：空间结构和时间行为。没有代码，没有编程。我们还无法完全理解自然界是如何进化出模拟计算机的，这种模拟计算机就是神经系统，它们体现了所有我们从世界吸收的信息。它们学习。它们学习的内容之一就是控制。它们学习控制自己的行为，学习尽可能地控制自己的环境。
甚至可以追溯到计算机科学诞生之前，计算机科学就已经开始实现神经网络了，但在大多数情况下，这些都是通过数字计算机模拟的神经网络，而不是自然界中自然进化的神经网络。现在这一切开始改变：自下而上的，是无人战斗机、自动驾驶汽车和手机这三驾马车推动了神经形态微处理器的发展，这种微处理器将真正的神经网络而不是模拟的神经网络直接实施在硅片或其他基片上。自上而下的，则是我们最大、最成功的企业在渗透和控制世界时越来越多地转向模拟计算。
当我们争论数字计算机的智能时，模拟计算已悄然超越了数字计算，就像在第二次世界大战之后，像真空管这样的模拟组件被用来建造数字计算机一样。可以运行有限代码的、单独确定的有限状态处理器，正在创造大规模具有不确定性、非有限状态的多细胞生物，它们在现实世界中恣意横行着。所产生的模拟、数字混合系统共同地处理比特流，就像在真空管中处理电子流一样，而不是像产生流动的离散状态装置那样一个个地处理比特。比特是新的电子。模拟再次回归，其本质是控制。
从物流到车流再到意识流，所有这些系统都按照统计运行，就像脉冲频率编码信息在神经元或大脑中处理一样。智能的出现引起了智人的注意，但我们应该担心的是控制的出现。
◆◆◆
想象一下，在1958年，你正试图保卫美国大陆免受空袭。为了区分敌机，你需要的除了计算机网络和预警雷达站点之外，还需要一个完备的、实时更新的商业空中交通地图。美国建立了一个这样的系统，命名为SAGE（半自动地面防空系统）。SAGE又催生了Sabre，这是第一个实时预订航空旅行的综合预订系统。Sabre及其衍生品很快就不仅能提供可预订座位图，还能根据分散的情报，控制客机将飞往的目的地和起飞时间。
但是在某个地方有没有一个控制室，有人在操控呢？也许没有。比如说，你建立一个公路交通实时显示系统，当汽车进入这个区域时，你就可以得知汽车当时的速度和行驶地点。这是一个完全分散的控制系统。除了系统本身之外，没有任何系统控制模型。
想象一下，现在是21世纪的第一个10年，你想实时追踪人际关系的复杂性。欲了解一个小学院的社交生活，你可以构建一个中央数据库，时刻更新，但在更大范围内，这个数据库的维护会非常困难。最好是发出一个简单的半自治代码的免费拷贝，本地托管，让社交网络自己更新。这个代码由数字计算机执行，但是由系统整体执行的模拟计算，其复杂性远远超过底层代码。由此得到的社交图的脉冲频率编码模型便成为社交图本身。它自校园蔓延开来，直至蔓延到整个世界。
如果你想制造一台机器，让它明白人类所了解的一切到底是什么意思，该怎么办？有了摩尔定律，很快世界上所有的信息都将数字化。你可以扫描印刷过的每一本书，收集人们写过的每一封电子邮件，每天整理最近49年的视频，同时实时追踪人们的位置以及他们做的事情。但是你如何理解其中的含义呢？
即使在数字时代，你也无法用严格的逻辑概念来定义这一切，因为对于人类而言，含义并不是合乎逻辑的。当你收集了所有可能的答案后，你最多能做的就是提出明确的问题，然后编译一个脉冲频率加权图，来说明所有事物是如何关联的。还没等你意识到，你的系统就已经不仅能观察和绘制事物的意义图，甚至能开始构建意义了。一段时间后，它便会控制意义，就像交通图开始控制交通流量一样，即使似乎没有人在控制这一切。
◆◆◆
关于人工智能，我们有三条定律。第一定律是阿什比定律，这一定律以控制论专家、《大脑设计》（Design for a Brain）一书的作者W.罗斯·阿什比（W. Ross Ashby）的名字命名。该定律认为任何有效的控制系统必须与它控制的系统一样复杂。
第二定律由冯·诺伊曼提出。该定律指出，一个复杂系统的定义特征一定包含对其行为的最简单的描述。生物体最简单的完整模型是生物体本身。试图减少系统行为，达到任何形式化描述的程度，只会使得事情变得更复杂，而不是变得更简单。
第三定律指出，任何一个简单到可以理解的系统都不会复杂到可以智能化行事，而任何一个复杂到足以智能化行事的系统都会太过于复杂而无法理解。
第三定律给那些相信在理解智能之前，我们不用担心机器会产生超人类智能的人带来安慰。但第三定律存在漏洞。我们完全有可能在不理解时构建某个东西。构建一个能运作的大脑，你不需要完全理解它是如何运作的。无论程序员及其伦理顾问如何监控计算程序，他们都永远无法解决这个漏洞。可以证明的是，“好的”人工智能是个神话。我们与真正的人工智能之间的关系将永远是一个信仰问题，而不是证据问题。
我们过于担心机器智能，却不太担心机器的自我复制、通信和控制。计算的下一个革命将以模拟系统兴起、数字程序对模拟系统不再有控制权为标志。对那些相信他们能制造机器来控制一切的人，大自然对此的反应将是允许他们建造一台机器，来控制他们。
05 我们将如何应对？ WHAT CAN WE DO
We don't need artificial conscious agents. We need intelligent tools.
我们不需要有意识的人工主体。我们需要的是智能工具。
丹尼尔·丹尼特
Daniel C. Dennett
丹尼尔·丹尼特是塔夫茨大学奥斯丁·弗莱彻哲学讲席教授和认知研究中心主任。他著有10多本著作，包括《直觉泵和其他思考工具》（Intuition Pumps and Other Tools for Thinking）《意识的解释》（Consciousness Explained）、《从细菌到巴赫再到细菌：心智的进化》（From Bacteria to Bach and Back: The Evolution of Minds）。
注：丹尼尔·丹尼特的著作《直觉泵和其他思考工具》中文简体字版已由湛庐文化策划，浙江教育出版社出版。
——编者注
布罗克曼谈丹尼尔·丹尼特
丹尼尔·丹尼特是人工智能领域最优秀的哲学家。在认知科学领域，他最著名的贡献也许就是他的意向系统概念和人类意识模型，这个模型勾勒出一个计算架构，能在大规模并行的大脑皮层中实现意识的流动。这种坚决的计算主义态度受到哲学家约翰·塞尔（John Searle）、大卫·查尔莫斯（David Chalmers）和已故的杰里·福多尔（Jerry Fodor）的强烈反对，他们认为意识最重要的特点，也就是意向性和主观特征，是无法被计算的。
25年前，我拜访了人工智能的先驱者之一马文·明斯基，向他询问丹尼特的情况。“他是目前世界上最好的哲学家，他是伯特兰·罗素第二，”马文说，“与传统哲学家不同的是，丹尼特还研究神经科学、语言学、人工智能、计算机科学和心理学。他把哲学家的角色重新界定，并加以革新。当然，丹尼特不理解我的心智社会理论，但没有人是完美的。”
人工智能研究者努力创造超级人工智能，丹尼特对此的看法非常冷静。“什么，我担心这个？”在这篇文章中，他提醒我们，人工智能首先应该被视为工具，而不是像人一样的同事。
从在牛津大学读研究生以来，丹尼特就一直对信息理论感兴趣。事实上，他告诉我，学术生涯早期时，他特别想写一本关于维纳控制论的书。作为一个有科学方法的思想家，他的一种魅力就是愿意犯错。在最近一篇题为《什么是信息？》的文章中，他宣布：“我支持它，但它现在需要修改。我已经超越了它，我意识到有更好的方法来解决这些问题。”对于人工智能研究，他保持冷静的态度，尽管他承认自己的想法经常在变，就像任何人的想法都在不断发展一样。
许多人曾反思过，当你还太年轻，读不懂一本伟大著作时却去读它，这是多么具有讽刺意味。把一本经典之作扔到已经阅读过的书堆里，会让你们无法受到更深远的影响，而只是从中得到一些不甚明了的思想，这种忽略经典的做法通常是不好的。年轻时我曾读过《人有人的用处》，60多年后当我重读此书时，颇有感触。我们都应该把青年时代读过的书再重读一遍，从中很容易发现，我们自己后来的一些“发现”和“发明”之前都有清晰的伏笔，我们还会发现，对于很多曾经无动于衷的深刻洞见，在经历过生活百态、锤炼大脑、丰富思维后，我们现在终于有所领悟了。
诺伯特·维纳在写作此书时，真空管仍然是主要的电子器件，实际运行的计算机也是寥寥无几，就在这样的时代背景下，他以丰富的细节、较少的错误，设想了我们现在正在享受的未来。艾伦·图灵1950年在哲学期刊《心智》（Mind）上发表了著名文章《计算机械与智能》（Computing Machinery and Intelligence），文中预测了人工智能的发展。维纳也对人工智能的发展做出过预测，但维纳看得更深更远，他意识到人工智能在许多智能活动中不仅仅是在模仿和替代人类，而是在这个过程中改变人类。
我们不过是川流不息的河水中的漩涡。我们并非僵滞的死物，而是延续自己的模式。
当维纳写下这句话时，人们很容易把它看作另一个赫拉克利特式的夸大其词。是啊，是啊，你不能两次踏入同一条河流。但它包含了观念革命的种子。今天，我们知道该如何思考复杂适应系统、奇异吸引子、扩展心智和内稳态，这种观点的改变有望消除心智与机械、精神与物质之间的“解释鸿沟”(9)，这种鸿沟仍然受到现代笛卡尔信徒的热烈维护。他们无法接受忍受这样的想法，也就是我们，我们自己，是承载信息的物质自我延续的模式，而不是“僵滞的死物”。这些模式弹性好，自我恢复能力强，但同时又非常善变，属于机会主义者，自私自利，为寻求永存会不惜利用一切新鲜事物。正如维纳指出的那样，事情的不确定性就源于此。当出现极具吸引力的机会时，我们往往愿意花一点钱，为获得新的能力接受一些小的，甚至是微不足道的代价。很快，我们对新工具如此依赖，没有它们我们便无法发展。原本只是选项，现在却成了必需品。
这是一个古老的故事，在进化史上有许多记载。大多数哺乳动物都能合成自己的维生素C，但是灵长类动物自选择以水果为主的饮食后，便失去了这种先天的能力。现在我们必须摄取维生素C，却不必像我们的灵长类近亲那样必须摄取水果，因为我们已经有了技术，能制造、摄取所需要的维生素。我们称之为自我延续模式的人类现在依赖于衣服、熟食、维生素、疫苗、信用卡、智能手机和互联网。还有——人工智能。
维纳预见到了图灵和其他乐观主义者大多忽略掉的问题。他说，真正的危险是：
这样的机器，虽然其本身没有杀伤力，但却可以被一个人或一群人利用，以加强对其他种族的控制；又或者，危险之处在于，政治领导人不是靠机器，而是靠政治手段试图控制人民，这些政治手段对人类的可能性狭隘视之且漠不关心，就好像它们实际上是机械构思出来的。
他认识到，这种统治威力主要取决于计算程序，而不是运行的硬件，尽管今天的硬件使得维纳时代显得异常烦琐的计算程序，实际上已经变得可行。对于那些“对人类的可能性狭隘视之且漠不关心”的“手段”，我们有何话说？这些“手段”一次又一次地出现，很显然，有一些是好的，有一些是危险的，但还有许多处于无所不在的有争议的中间地带。
想想那些冲突。我已故的朋友约瑟夫·魏岑鲍姆（Joseph Weizenbaum）是维纳的继任者，是麻省理工学院的高科技先知，他喜欢观察信用卡，发现无论信用卡有哪些优点，都能为政府或公司提供一种廉价且几乎是万无一失的方法，来追踪个人的旅行、习惯及愿望。除了毒贩和其他罪犯，现在很少人使用具有匿名性的现金，现金可能正走向灭绝。这将使得洗钱在未来所面临的技术挑战越来越大，但针对此的人工智能模式查找器却有一个副作用，它使我们对于那些“企图控制”我们的“人群”而言变得更加透明。
再看看艺术，除了最热心的听众和电影爱好者之外，几乎所有人都这样认为：数字音频和视频录制的创新让我们仅付出很小的代价便放弃了模拟格式，反过来，它还为我们提供了简单（是不是太简单了？）的复制方法，有着近乎完美的逼真度。但，这里隐藏着巨大的代价。奥威尔的“真理部”现在已经成为可能。人工智能现已有了这种伪造技术，能伪造出几乎难辨真假的“记录”，这使得在过去的150年里我们一直视之为理所当然的调查手段现在已经过时。我们是放弃短暂的摄影取证时代，回到以人类记忆和信任为黄金标准的早期世界，还是在真理军备竞赛中发展新的防御和进攻技术？我们可以想象回到曝光胶片的模拟时代，这些胶片在没有出示给陪审团等人看之前一直存放在“防篡改”系统中，但多久之后就会有人想出方法，使人们对该系统起疑心？最近发生的事给了我们一个令人不安的教训，那就是，破坏信誉比保护信誉要容易得多，所需付出的代价也小得多。维纳看到了该现象最本质的一面：“……从长远来看，武装我们自己与武装敌人，两者之间没有什么差别。”信息时代也是虚假信息时代。
我们能做些什么？维纳、魏岑鲍姆和其他人严肃批评了我们这些亲技术派人士，借助于他们所做的有热情但也有缺陷的分析，我们需要重新考虑优先事项。在我看来，一个关键短语就是前面提到的维纳的近乎漫不经心的观察，他说“这些机器”“其本身没有杀伤力”。正如我最近一直在讨论的，现在我们正在制造的是工具，而不是同事，最大的危险是无法欣赏差异，这种差异是我们应该努力通过政治和法律创新来强调、标记和捍卫的。
也许，看待我们错失了什么，最好的办法就是注意到艾伦·图灵自己在设计著名的图灵测试时遇到了完全可以理解的想象力的失败。众所周知，该测试改编自“模仿游戏”，在这个游戏中，一个男人躲起来不被看到，他与法官聊天，试图使法官相信他实际上是个女人，而一个女人，也躲起来，她也与法官聊天，试图使法官相信她才是女人。图灵认为，这对于一个男人（或者假扮男人的女人）来说是一个艰巨的挑战，因为他或她要非常了解异性的思考和行为方式，了解他们喜欢什么或不懂什么。当然（叮！）(10)，在这样的游戏里，被看成是比女人还女人，这样的男人一定是特工。但图灵没有预见到的是人工智能的深度学习能力，人工智能不必理解信息，就可以获取这些信息并利用它。图灵设想了一个机敏、富有想象力、清醒的特工，他巧妙地根据女性可能做什么和说什么的详细“理论”设计了自己的反应。简言之，这是一个自上而下的高智能设计。图灵肯定不会认为获胜的男人就真的变成了女人，他会认为这是一个男人的意识主导了游戏。在图灵的论点中有一个隐含前提是：只有清醒、聪明的特工才能在模拟游戏中设计并使用获胜的策略。因此，图灵（以及包括我在内的其他人，仍然坚定地支持图灵测试）认为，在与人类竞争时，能够像人类一样通过测试的“计算机器”可能不会拥有人类的意识，但无论怎样它一定有某种意识。我认为，这仍然是一种可辩护的立场，而且是唯一可辩护的立场，但是你必须明白，一个法官需要多么足智多谋，才能揭露一个有着深度学习能力的人工智能（一种工具，而不是同事）的肤浅本质。
图灵没有预见到的是，超高速计算机具有不可思议的能力，能够在互联网提供的取之不尽、用之不竭的“大数据”中盲目筛选，找到人类活动的概率模式，借此，对于法官想要做的几乎任何调查，这种模式都可以将貌似“真实”的响应弹出到输出框中。维纳也低估了这种可能性，他只看到机器的弱点在于：
不能将代表人类处境特征的大范围可能性考虑进来。
但是把大范围可能性考虑进来正是新的人工智能所擅长的。人工智能的唯一欠缺就是“浩瀚”一词；由于人类语言及其所孕育的文化之故，人类拥有真正“浩瀚”的可能性。(11)到目前为止，在互联网的大量数据中，不管我们和人工智能发现了多少模式，一定还有浩瀚的模式从未被记录下来。世界上积累的智慧、设计、妙语和愚蠢，只有一小部分（但不是微渺）被上传到互联网上，但在图灵测试中，面对候选人，法官能采用的更好的策略不是去寻找这样的事情，而是将之全新创造。人工智能目前表现为依附于人类的智力。它完全不分青红皂白地吞噬着人类创造者所创造出来的一切，并从中提取模式，包括我们一些最有害的习惯。(12)这些机器还没有目标或策略，也没有能力进行自我批评和创新，从而无法反思自己的思想和目标。正如维纳所说，它们是无助的，没有杀伤力的，不是指它们是被束缚的或没有行为能力的主体，而是指它们根本不是主体——它们没有能力为“被理性驱动”（康德这样说）。保持现状，这很重要，但这也很难做到。
魏岑鲍姆的《计算机力量与人类理性》（Computer Power and Human Reason）一书有一个缺点，很长时间以来我一直与他探讨，试图说服他，却没有成功，这个缺点就是在以下两种观点中，他永远不确定自己为之辩护的究竟是哪个：人工智能是不可能的抑或人工智能是可能却有害的！他想与约翰·塞尔和罗杰·彭罗斯（Roger Penrose）争辩说，“强大的人工智能”是不可能的，但是他没有足够的理由来支持这个结论。毕竟，我们现在所知道的一切都表明，正如我所说的，我们是由机器人所制造的机器人所制造的机器人……一直到马达蛋白及其同类，其中并没有神奇的成分。魏岑鲍姆提出的更重要、更具有辩护力的信息是，我们不应该努力创造强大的人工智能，而应该极其谨慎地对待我们能够创造和已经创造的人工智能系统。就像人们所预期的那样，我们能辩驳的论点是不同观点的混合：强人工智能原则上是可能的，但不是我们想要的。完全可能的人工智能未必是邪恶的，除非把它当成强人工智能！
