“随着过去几年人工智能的所有成功，在图像和文本方面我们已经有了良好模型，但是我们所缺少的是人类的良好模型。”汤姆说，“人类仍然是我们在制造思考机器时要参考的最好例子。通过识别影响人类认知的预设概念的数量和性质，我们能够为使计算机更接近人类性能奠定基础。”
当你要人们想象一个世界，这个世界成功地把所有人工智能领域的进步都很好地结合起来，可能每个人头脑中的画面都会稍有不同。宇宙飞船、飞车或人形机器人是否存在，将使我们对未来的设想完全不同。但有一点是不变的：那就是人类的存在。这正是诺伯特·维纳所设想的世界，当他写到未来的机器与人类配合，并调解彼此之间的合作、改善人类社会时，他的头脑中正展现这样的画面。要达到这一点不仅仅需要想办法令机器更智能，还需要我们更好地理解人类思维的运作。
在人工智能和机器学习领域的最新进展使我们设计出在玩游戏、图像分类或处理文本方面能够达到甚至超过人类能力的系统。但是，如果你想知道为什么前面的司机并到你的车道，为什么人们不顾自己的利益投反对票，或者你应该给你的伴侣买什么生日礼物，问人比问机器更好。解决这些问题需要建立可以在计算机内实现的人类思维模型——这不仅对于将机器更好地融入人类社会至关重要，而且对于确保人类社会能够继续存在也是非常重要的。
设想你拥有一个自动化的智能助手，它能够承担诸如计划三餐、订购杂货之类的基本任务。为了成功地完成这些任务，它需要能够根据你的行为方式来推断你想要什么。虽然这看似简单，但推论人类偏好却可能是一件棘手的事情。例如，当你的这个助手发现在一顿饭中你最喜欢吃的食物是甜点时，它可能开始为你计划完全都由甜点组成的三餐。或者它可能听你抱怨过没有足够的空闲时间，并观察到照顾狗占用了你相当多的空闲时间。在经历了甜点失败后，它也明白了你更喜欢含有蛋白质的食物，所以它可能开始研究狗肉食谱。从这样的例子到听起来像是关于人类未来的局面（人类是好的蛋白质来源），距离并不遥远。
推断人类想要的东西是解决价值对齐的人工智能问题的先决条件。所谓价值对齐，就是使自动化智能系统的价值与人的价值对齐。如果我们想确保这些自动化的智能系统牢记我们的最大利益，价值对齐至关重要。如果它们不能推断出我们所珍视的东西，它们就没有办法支持那些价值观，而且很可能会以违背那些价值观的方式行事。
在人工智能研究中，价值对齐只是一个小的主题，但对它的研究日渐增加。用于解决这个问题的一个工具就是反向强化学习。强化学习是训练智能机器的一种标准方法。通过将特定的结果和奖励联系起来，可以训练机器学习系统遵循产生特定结果的策略。维纳在20世纪50年代就有了这一想法，经过几十年的发展，它现在成了一门艺术。现代机器学习系统可以通过应用强化学习算法找到非常有效的策略来玩电脑游戏，从简单的街机游戏到复杂的实时策略游戏。反向强化学习扭转了这种途径：通过观察已经学习了有效策略的智能主体的行为，我们可以推断导致这些策略发展的奖励。
反向强化学习最简单的形式，就是人们一直在做的事情。这是很常见的，我们甚至不知不觉就做了。当你看到一个同事去装满薯片和糖果的自动售货机买一包不含盐的坚果时，你会推断你的同事：（1）饿了；（2）更喜欢健康食品。当你看到一个熟人明明看到你，却试图避免和你打招呼，你推断他不想和你说话一定有什么原因。当一个成年人花费大量时间和金钱学习演奏大提琴时，你推断他一定非常喜欢古典音乐，但推断一个十几岁的男孩学习演奏电吉他的动机可能更具挑战性。
反向强化学习是一个统计问题：我们有一些数据，即智能主体的行为，然后我们想要评估关于那些行为背后的奖励的各种假设。当面对这个问题时，统计学家会思考数据背后的生成模型：如果智能主体受到一套特定奖励的激励，我们期望生成什么数据？有了生成模型，统计学家就可以做接下来的工作了：什么奖励可能促使主体以那种特定的方式行事？
如果你试图对激励人类行为的奖励做出推断，那么生成模型实际上是关于人类的行为、关于人类思维如何工作的理论。对他人行为背后隐藏原因进行推断，这种推断反映了一种在每个人脑中一直存在的复杂的人性模型。当模型准确时，我们会做出正确的推断。但如果不准确，我们就会犯错。例如，如果教授没有立即回复学生的电子邮件，这个学生可能便会推断他的教授对他漠不关心，这是因为学生没有意识到教授收到电子邮件的数量太多了。
能够对人类需求做出很好推断的自动智能系统，必须具有良好的人类行为生成模型，也就是说，这种人类认知的良好模型可以用能在计算机上实现的术语表达。从历史上来看，对人类认知计算模型的探索与人工智能本身的历史紧紧地交织在一起。在诺伯特·维纳出版《人有人的用处》之后短短几年，卡内基科技的赫伯特·西蒙和兰德公司的艾伦·纽厄尔（Allen Newell）便开发出来第一个人类认知的计算模型“逻辑理论家”，这也是第一个人工智能系统。逻辑理论家通过模拟人类数学家使用的策略自动生成数学证明。
开发人类认知计算模型的挑战是制作既精确又通用的模型。当然，精确的模型能以最小的误差预测人类行为。而通用模型可以预测各种各样的情况，包括其创建者意想不到的情况，例如，好的地球气候模型应该能够预测全球气温升高带来的后果，即使设计它的科学家没有考虑过这一点。然而，当谈到理解人类思想时，精确性和普遍性这两个目标长期以来一直相互矛盾。
极端的通用性便是理性的认知理论。这些理论将人的行为描述为对特定情况的理性反应。理性的行为者会努力使根据一系列行为所产生的预期报酬最大化。理性行为者理论之所以会被广泛应用于经济学中，正是因为它对人类行为做出普遍性的预测。出于同样的原因，合理性是试图根据人类行为做出推断的反向强化学习模型中的标准假设，不过，还要考虑到人类不是完全理性的，有时会随机选择与他们最佳利益不相符甚至相反的方式行事。
作为人类认知建模的基础，合理性的问题在于它不准确。在决策领域，大量文献记载了大量人们偏离理性模型的方式，这些文献以心理学家丹尼尔·卡尼曼和阿莫斯·特沃斯基（Amos Tversky）的工作为先导。卡尼曼和特沃斯基提出，在很多情况下，人们会遵循简单的启发式方法，这种方法使他们能够以较低的认知成本获得良好的解决方案，但有时这种方法也会导致错误。举一个例子，如果你要求某人估计某一事件发生的概率，他们可能会根据从记忆中提取这样的事情的难易程度来做出判断，为这个事件的发生想出一个因果故事，或者评估一下，看看这个事件与他们预想的有多么相似。每个启发式方法都是一种合理策略，可以避免复杂的概率计算，但也会导致错误。例如，根据从记忆中提取这样的事情的难易程度推测其概率，会导致我们高估极端事件发生的机会——恐怖袭击事件总是让人极其难忘。
启发式方法提供了一个更精确的人类认知模型，但不容易普遍化。我们如何知道在特定的情况下人们会用哪种启发式？还有没有其他的我们尚未发现的启发式方法？想要准确地知道人们在一种新情况下会如何行事，这是一个挑战：在这种情况下他们会根据记忆做出判断，还是想出因果关系，还是依赖相似性？
最终，我们需要的是一种方法，它能描述人类思维的运作原理，具有理性的普遍性和启发式的准确性。实现这一目标的一种方法是从合理性开始，考虑如何让它朝现实的方向发展。把合理性作为描述任何现实世界行为的基础，这就存在一个问题，那就是，在许多情况下，计算合理行为需要主体拥有大量的计算资源。如果你正在做出一个非常重要的决定，并且有很多时间来评估你的选择，那么花费这些资源也许是值得的，但是人类的大多数决定都是快速做出的，而且风险相对较低。无论在什么情况下，只要你做出决定花费的时间成本很昂贵（至少因为你可以把这些时间花在别的事情上），理性的经典概念就不再能很好地描述一个人该如何行事。
为了建立一个更现实的理性行为模型，我们需要考虑计算成本。真正的主体需要根据额外思考对决策结果的影响来调整他们花费在思考上的时间。如果你要选择牙刷，你可能不需要在购买之前在亚马逊网站上把所有4000个手动牙刷清单都看个遍：你会把花在寻找牙刷上的时间用在比较质量的差异上。这种权衡可以形式化，这就是人工智能研究人员称为“有界最优性”的理性行为模型。有界最优主体并不总是关注于选择正确的行动，它们更关注的是找到正确的算法，在犯错误和思考太多之间找到完美的平衡。
有界最优性弥补了合理性与启发式之间的差距。通过将行为看成在有限思考时间下做出的理性选择，有界最优性提供了一个可普遍化的理论，也就是一个可以在新情况下应用的理论。有时，人们所遵循的被看作启发式的简单策略被证明是有界最优解。因此，与其谴责人们使用的启发式方法是非理性的，不如把它们看作对计算约束的理性反应。
发展有界最优性，把它当作人类行为理论，这是眼下我的研究小组和其他人正在积极开展的项目。如果这些努力获得成功，那么这种理论就能为我们提供最重要的要素，使我们通过给人类行为建立生成模型，让人工智能系统解释人类行为时变得更加智能。
当我们开发自动化系统时，把影响人类认知的计算约束考虑进来，使得自动化系统不会受到相同的约束，将会特别重要。假设有一个超级智能人工智能系统想要知道人们在乎什么。举例来说，治疗癌症或证明黎曼假说对于我们人类来说很重要，但对于这样的人工智能来说可能就没那么重要：如果这些解决方案对于超级智能系统来说太过轻而易举，那么它可能会奇怪为什么我们自己还没有找到这些方案，然后它会得出结论，认为那些问题对我们来说并不重要。如果我们在乎，而且问题又如此简单，我们早就解决了。合理的推论就是，我们做科学和数学纯粹是因为我们喜欢做科学和数学，而不是因为我们关心结果。
对于试图理解与自己的计算约束不同的人的行为这样的问题，有小孩子的人都能理解。蹒跚学步的孩子的父母可以花上几个小时试图弄清看似莫名其妙的行为背后的真正动机。作为一名父亲和认知科学家，当我意识到我两岁大的孩子正处在这样一个年龄段，她可以理解不同的人有不同的欲望，但不能理解可能其他人并不知道她自己的欲望是什么时，我发现更容易理解她的突然暴怒了。那么，这就很容易理解为什么当别人不按她的意愿行事时，她会生气。理解幼儿需要建立幼儿心理的认知模型。超级智能人工智能系统在试图理解人类行为时也面临着同样的挑战。
超级智能人工智能或许还有很长的路要走。从短期来看，对任何一家通过分析人类行为来获利的公司来说，设计出更好的人类模型都是非常有价值的。在这一点上，几乎每个在网上做生意的公司都是如此。在过去几年里，对视觉和语言的模型开发已经创造出了用于解释图像和文本的重要的商业新技术。开发良好的人类模型将是下一个研究领域。
当然，理解人类思维的运作原理不仅仅是使计算机更好地与人交互的一种方式。犯错和思考过多正是人类认知的特点，它们之间的权衡也是任何现实世界智能主体都面临的权衡。尽管存在显著的计算约束，人类仍是智能系统中令人惊叹的例子。我们非常擅长制定战略，这使我们无须太辛苦地工作便能够很好地解决问题。理解我们人类如何做到这一点，将使计算机朝着更智能而非更辛苦地工作迈出一步。
13 把人类放进人工智能的方程式中 PUTTING THE HUMAN INTO THE AI EQUATION
In the real world, an AI must interact with people and reason about them. "People" will have to formally enter the AI problem definition somewhere.
在现实世界中工作，机器人必须与人们实际互动，并理智地对待他们。“人”必须正式进入人工智能问题的定义中。
安卡·德拉甘
Anca Dragan
安卡·德拉甘是加州大学伯克利分校电气工程和计算机科学系的助理教授。她是伯克利人工智能研究实验室的共同创立者，是该实验室的指导委员会成员，也是伯克利人类相容人工智能中心的共同首席研究员。
布罗克曼谈安卡·德拉甘
出生于罗马尼亚的安卡·德拉甘的研究重点是使机器人能够与人类共事、与人类相处并支持人类的算法。她在加州大学伯克利分校运营着一个实验室，在这个实验室里她的学生们从最优控制、规划、评价、学习和认知科学中汲取经验，尝试创造各种不同的应用，从辅助机器人到制造产品再到自动驾驶汽车等。刚刚30多岁的她，就与加州大学伯克利分校的同事以及导师斯图尔特·罗素合著了许多论文，这些论文涉及机器学习的各个方面，以及价值对齐难题。
和斯图尔特一样，她也非常关注人工智能安全问题。“眼下最迫在眉睫的风险就是人工智能会做出人类并不想要的、令人惊讶的行为，”在接受未来生命研究所的采访时她说，“即使我们计划使用人工智能来达成美好的目的，也不会一帆风顺，这是因为我们不善于为人工智能指定目标，不善于约束人工智能。它们的解决方案往往并不是我们所想要的。”
因此，她的主要目标是帮助机器人和程序员克服由于缺乏对彼此意图的了解而产生的许多冲突。她说，机器人需要问我们问题。它们应该对自己的工作感到好奇，它们应该让人类程序员感到难缠，直到每个人的思想意见完全一致——以避免她委婉地所说的“意想不到的副作用”。
人工智能的核心是我们对人工智能主体（机器人）的数学定义。我们定义一个机器人，就是定义它的状态、行动和奖励。例如，设想一个递送机器人。状态是机器人在世界中的位置，行动是它从一个位置到附近位置的运动。为了让机器人能够决定采取哪些行动，我们定义了奖励函数，也就是从状态和行动到分数的映射，分数表明在某状态下某行动有多好。有了分数，我们就能让机器人选择可以积累最多“奖励”的行动。机器人到达目的地时就会得到高额奖励，但它每次移动时都会花费掉少量的成本；这种奖励功能激励机器人尽快到达目的地。类似地，自动驾驶汽车可能因其在行驶路线上的进步而获得奖励，但也会因太接近其他汽车而付出代价。
有了这些定义，机器人的工作就是找出它应该采取什么行动来获得最高的累计奖励。为了让机器人能做到这一点，我们一直在努力。在这种情形下，我们实际上是在暗中假设，如果我们成功了，如果机器人能够理解所有问题的定义，并且知道该采取什么样的行动，那么我们将拥有对人和社会有益的机器人。
到目前为止我们还没有错。如果你想要一个能将细胞分类为癌细胞或良性细胞的人工智能，或者一个能在你工作的时候用吸尘器清扫客厅地毯的机器人，我们已经为你准备好了。一些现实世界的问题可以被孤立地定义，有明确的状态、行动和奖励。但是随着人工智能能力的增加，我们想要解决的问题并不适合这个框架。我们再也不能割下一小块世界，把它放进盒子里，交给机器人了。帮助人们开始意味着在现实世界中工作，在那里机器人必须与人们实际互动，并理智地对待他们。“人”必须正式进入人工智能问题的定义中。
自动驾驶汽车已经开发出来了。它们需要与行人和人类驾驶的车辆共享道路，并学会在尽快送我们回家和不给其他司机带来麻烦之间进行权衡。个人助理需要弄清楚我们什么时候真正需要帮助，需要多少帮助，它们还需要清楚哪类工作我们喜欢自己做而不是交给别人来做。决策支持系统或医疗诊断系统将需要向我们解释它的建议，以便我们能够理解并验证这些建议。自动化的教师需要确定对于我们人类而非其他机器而言，哪些例子是信息性的，哪些例子是说明性的。
展望未来，如果我们希望具有更高能力的人工智能能够与人相容，我们就不能孤立地创建它们，然后再试图使它们与人类相容；相反，我们必须从一开始就定义“人类相容”人工智能。我们不能事后再考虑这件事。
当谈到能够帮助真正人类的真正机器人时，我们对人工智能的标准定义很失望，原因有两个。第一，孤立地优化机器人的奖励功能与当机器人与人类相处并做出行动时优化它完全是两码事，因为人们也同时在采取行动。我们是为了自己的利益做出决定，而这些决定就决定了我们会采取什么行动。此外，我们会对机器人讲道理，也就是说，我们对自己认为它正在做什么、将要做什么，以及我们认为它的能力是什么做出回应。无论机器人决定做出什么行动，都需要与我们的行动很好地配合。这是协调问题。
第二，最终是人类决定了机器人的奖励功能应该是什么。人类的目的是激励机器人行为，使其符合最终用户的需求，符合设计师的愿望，或符合整个社会的想法。我相信，当执行非狭窄定义的任务时，有能力的机器人需要理解这一点，以实现与人类的相容性。这是价值对齐问题。
协调问题：人不仅仅是环境中的客观存在
当我们为特定的任务设计机器人时，很容易把人剥离出来。例如，机器人个人助理需要知道如何移动来拾取东西，所以我们就会孤立地定义这个问题，不考虑机器人为之拾取东西的人。而且，当机器人四处移动时，我们不希望它撞到任何东西，包括人在内，所以我们需要在定义机器人的状态时把人的物理位置也包括进去。自动驾驶汽车也一样：我们不希望它们与其他汽车相撞，所以我们使它们能够跟踪其他汽车的位置，并假设它们会一直朝着相同的方向运动。
从这个意义上说，人类对于机器人而言与在平面上滚动的球并无二致。球在接下来的几秒钟内会像过去几秒钟一样，以大致相同的速度向同一方向滚动。这当然不像真正的人类行为，但是这种简化使得许多机器人能够完成它们的任务，并且在大部分情况下，不会挡住人的路。例如，你家里的机器人可能会看到你穿过客厅，它会移开让你过去，等你走过去后，它就会继续完成它的任务。
然而，随着机器人越来越有能力，已经不能再把人当作一直移动的障碍物了。开车时变换车道的人类驾驶员不会始终沿着同一方向行驶，而是会在变换车道后沿着新的方向向前行驶。当你伸手去拿东西时，你经常会绕过其他物体，当到达你想要的物体时你会停下来。你在走廊上走，脑中有一个目的地：你可以向右拐进卧室，或者向左拐进客厅。假如我们依靠这个我们与滚动的皮球一样的假设，那么当机器人本不需要避开却避开了时，它的效率就会变低，而且当人的行为发生改变时，机器人就会有危险。即使只是为了避开，机器人也必须能够精准地预测人类行为。而且，与滚动的皮球不一样，人们会做什么取决于他们决定做什么。因此，为了预测人类的行为，机器人需要开始理解人类的决策。但这并不意味着我们要假设人类行为是完全最优的；对于象棋或围棋机器人来说，这可能就足够了，但在现实世界中，人们的决策可不像棋盘游戏中的最优棋步那么容易预测。
理解人类行为和决策的需要同时适用于有形和无形的机器人。如果两种机器人都以假设人类会做一件事为基础做出决策，但人类却做了另一件事，那么由此产生的不匹配可能是灾难性的。对于自动驾驶汽车来说，这可能意味着碰撞。对于一个具有金融或经济角色的人工智能来说，它期望我们做的事情和我们实际所做的事情之间的不匹配可能会产生更糟糕的后果。
对于机器人来说，有一个办法就是机器人不再预测人类的行为，而只是防止最坏的人类行为。不过通常当机器人这样做时，它们就不再有用了。对于自动驾驶汽车来说，这会让它陷入困境，因为汽车的每一个举动都太有风险了。
所有这些都让我们陷入了困境。这表明，无论人们做出什么决定，机器人都需要精确的（或至少合理的）预测模型。我们的状态定义不仅仅包括人类身体在世界中的位置。而且，我们还需要评估人类的内心世界。我们需要设计出能解释人类内心状态的机器人，这可是一项艰巨的任务。幸运的是，人们常常会给机器人暗示，告诉它们自己的内心状态：他们正在做的就是让机器人按照贝叶斯推理了解他们的意图。如果我们开始朝走廊的右边走，我们可能会进入右边的隔壁房间。
但人们不会孤立地做决定，这个事实使问题变得更加复杂。现在假设机器人能够预测一个人想要采取的行动，并且简单地知道该如何应对。但不幸的是，由此带来的超级防御机器人会把人类搞糊涂。（例如，想想人类驾驶员停在一个通往四个方向的路口时的情形。这种预测意图的方法所遗漏的正是机器人行动的那一刻，机器人的行动会影响到人类开始采取的行动。
机器人与人类之间存在相互影响，机器人需要学会运用这一点。不仅是机器人要围绕人类做计划，人类也要围绕机器人安排计划。对于机器人来说，在决定采取哪些行动时，无论是在路上、在厨房中，甚至是在虚拟空间中，把这一点考虑进来都很重要。虚拟空间中的行动可能是购买商品或采用新的策略。要想做到这一点，就应该让机器人具有协调策略，使它们能够参与到人们每天无休止的各种谈判中，从谁先通过十字路口或穿过狭窄的门，到我们每个人在准备早餐时所扮演的角色，到在项目中采取的下一步达成共识。
正如机器人需要预见人们下一步将做什么，人们也需要预测机器人的下一步行动。这就是为什么透明度很重要。不仅机器人需要良好的人类心理模型，人类也需要良好的机器人心理模型。人类所拥有的机器人的心理模型必须进入人类的状态定义，机器人必须清楚它的行为会如何改变这个模型。就像机器人把人类的行为当作人类内心状态的线索一样，人类在观察机器人的行为时也会改变他们对机器人的认知。遗憾的是，给机器人提供线索并不像给人类提供线索那样自然。在与人类含蓄交流方面，人类有太多的经验了。但是，如果机器人能够理解它们的行为使机器人装置中的人的心理模型产生变化，这可以让它们能更仔细认真地选择它们的行为，这些行为确实能给人类提供正确的线索，清楚地向人们传达机器人的意图、奖励功能和局限性。例如，机器人在搬运重物时可能会改变它的运动，以强调它在操纵重物时的困难。人们对机器人的了解越多，就越容易与它协调。
实现行为兼容性需要机器人预测人类行为，并理解人类的这些行为会怎样影响它们自己的行为，同时还要使人类能够预测出机器人将要采取的行为。在应对这些挑战方面，我们的研究已经取得了一定程度的进展，但还有很长的路要走。
价值对齐问题：人们把握机器人奖励功能的关键
在使机器人能够将奖励最优化方面，研究者已经取得了进展，这给我们这些设计者带来了更多的压力，迫使我们在一开始就给机器人设定出能够优化的正确奖励。最初的想法是，无论我们想让机器人完成什么任务，我们都可以写下奖励函数以激励正确的行为。但很遗憾，经常发生的情况却是，我们明确了一些奖励函数，但优化后出现的行为却不是我们想要的。当直觉奖励功能与任务的非正常情况一起出现时，可能会出现非直觉行为。比如，在一个游戏中，机器人要在游戏中得分来获得奖励，在某些情况下，它发现了一个漏洞，利用这个漏洞它不需要真正赢得比赛就能得到无限多的分数。斯图尔特·罗素和彼得·诺维格在他们的《人工智能：一种现代的方法》一书中给我们提供了一个非常好的例子：根据吸尘机器人吸入的灰尘量来奖励它，结果这个机器人决定把灰尘都倒掉，这样它就能把这些灰尘再吸进去，以获得更多的奖励。
一般来说，人类很难确切地知道他们想要什么，所有那些神话故事都证明了这一点。机器人得到一些外部指定的奖励，但如果这些奖励不是人类经过认真思考后设定的，那么这样的人工智能模式就是不成功的。错误的奖励可能会激励机器人做出错误的行为，甚至抵制我们，不让我们纠正其行为，因为这将让它们得到较低的指定奖励。
显然更好的模式应该是让机器人优化我们的内在需求，即使我们自己都无法解释这些需求是什么。它们会根据我们的所言所行来推测我们想要什么，而不是只按字面上的意思理解，把我们想要之物当作一个给定的东西。当我们写下奖励函数时，机器人应该理解我们可能是错误的：我们可能没有把任务的各个方面都考虑进来，也不能保证奖励函数总是会使我们得到我们想要的行为。机器人应该把我们写下来的东西与它对我们想要的东西的理解整合在一起，同时它也应该和我们反复地探讨，使信息更明确澄清。它应该寻求我们的指导，因为这是优化真正的预期奖励功能的唯一途径。
即使我们将这种了解我们需求的能力赋予机器人，仍然遗留有一个重要的问题，仅靠人工智能本身无法回答。我们可以让机器人与人类的内在价值保持一致，但这里涉及的人不止一个。机器人可能有几个最终用户，比如照顾家庭的私人机器人、开车送几个乘客到不同目的地的自动驾驶汽车，或者为整个团队服务的办公室助理；它也可能有几个设计师；它与社会交互，例如自动驾驶汽车与行人、人类驾驶的汽车以及其他自动驾驶汽车共享道路。当这些人的价值观发生冲突时，如何将这些价值观结合起来是我们需要解决的一个重要问题。人工智能研究可以为我们提供工具，让我们可以以任何方式将价值观组合起来，但不能为我们做出必要的决定。
简而言之，我们需要让机器人能够对我们人类进行理性思考——不仅仅把我们看成障碍物或完美的游戏玩家。我们需要它们把人类的人性考虑进来，以便它们能更好地与人类配合，与我们的价值对齐。如果我们成功了，我们就一定会拥有能够大大提高生活质量的工具。
14 梯度下降 GRADIENT DESCENT
Just because AI systems sometimes end up in local minima, don't conclude that this makes them any less like life. Humans—indeed, probably all life-forms—are often stuck in local minima.
不要仅仅因为人工智能系统有时会陷入局部极小值，就断定这使它们变得不像真实生命。其实人类，可能也包括所有的生命形式，都经常被困在局部极小值的范围中。
克里斯·安德森
Chris Anderson
克里斯·安德森是一位企业家，《连线》杂志前总编辑，3DR公司的联合创始人和首席执行官，著有《长尾理论》（The Long Tail）、《免费》（Free）和《创客》（Makers）。
布罗克曼谈克里斯·安德森
克里斯·安德森的公司3DR帮助启动了现代无人机产业，现在则专注于无人机数据软件。开始时，他建立了一个名为“DIY无人机”（DIY Drones）的开放源码的空中机器人社区，也尝试了一些不明智的早期实验，比如他的一个自航间谍飞机在劳伦斯伯克利国家实验室嗡嗡作响。这可能是一个基因反常的案例，因为他是美国无政府主义运动的创始人的后裔。2001年到2012年，克里斯经营着《连线》杂志，该杂志发表了许多科技乌托邦和科技反乌托邦的文章；在他的任期内，该杂志五度获得美国国家杂志奖。
克里斯不喜欢“机器人学家”这个词——“像任何谦虚的机器人学者一样，我不这样称呼自己”。他起初是名物理学家。但他最近告诉我：“事实证明我是个糟糕的物理学家。我一直在挣扎着，我去了洛斯阿拉莫斯国家实验室，心里想：‘也许我不会成为诺贝尔奖得主，但我仍然可以当一名科学家。’所有那些搞物理的人，所有那些有着浪漫主义情结的人，那些以参加曼哈顿计划的费曼们为英雄的人都意识到，我们的职业生涯最好也只是在欧洲核子研究组织（CERN）从事一个项目15年。这个项目要么失败——结果就是没有写出任何论文；要么成功——这样的话，你将成为这篇论文的第300名作者，然后成为艾奥瓦州立大学的助理教授。”
“我的大多数同学都去华尔街当了金融工程师，次级抵押贷款就是这些人的功劳。其他人则在互联网上谋生。首先，我们建了一个因特网，把物理实验室都连接起来；然后，我们建立了网络；接下来，我们成为第一批做大数据的人。我们有克雷（Cray）超级计算机，虽然它的能力不及你现在手机的一半，但在当时它们是超级计算机。同时，我们在读一本名为《连线》的杂志，该杂志于1993年开始发行。我们意识到科学家们使用的这个工具可能适用于所有人。互联网不仅仅涉及科学数据，更掀起了一场令人惊叹的文化革命。因此，当康泰纳仕集团让我接管《连线》杂志时，我就说：‘绝对没问题！’这本杂志改变了我的人生。”
在接管杂志时期，他有了5个孩子，他们都是视频游戏玩家，正是他们使他进入“飞行机器人”领域。他辞去了在《连线》杂志的工作后，接下来便是在硅谷的日子。
生命
蚊子首先从10米远的地方嗅出我的气味。它触发它的追踪函数，这个追踪函数由最简单的规则组成。首先，随机地朝一个方向移动。如果气味增加，继续朝那个方向移动。如果气味减少，则向相反的方向移动。如果气味消失，就朝旁边的方向移动，直到再次闻到气味。如此重复直到最终来到目标处。
我的体味离我皮肤越近就越浓密，随着毛孔张开，体味扩散开来，这时一团看不见的粒子雾便从皮肤中散发出来，像随风飘散的烟雾。离我的皮肤越近，颗粒密度越高；离得越远，颗粒密度就越低。这种减少被称为梯度，它描述了从一个水平到另一个水平的逐渐过渡，与描述离散变化的“阶梯函数”正好相反。
一旦蚊子利用它简单的算法跟随这个梯度到达气味的源头，它就落在我的皮肤上。它用脚上的热探测器感知皮肤，热探测器与另一个梯度即温度相适应。然后，它把针形的喙推进皮肤表面，在这里喙尖端的第三组传感器会检测到另一个梯度，即血液密度。这根柔韧的针在我的皮肤下蠕动，直到血液的气味引导它进入毛细血管，然后刺破。这时我的血液开始流入蚊子体内。任务完成了。哎哟。
这种在黑暗中如此强大的昆虫雷达具有寻找血液的智能，这种智能看似是微小的大脑无法解释的，但这种雷达实际上只是一个敏感的鼻子，几乎没有任何智能可言。蚊子更像是跟随太阳转动的植物而非导弹。然而，直接照本宣科地应用这种简单的“跟着鼻子走”法则，它们就能够穿过房子找到你，穿过纱门上的裂缝，甚至一下子就能叮在你暴露在帽子和衬衫领子之间的窄窄的一处皮肤上。蚊子只是随机飞过，但它有灵活的翅膀和腿，让这种昆虫能越过障碍，它还有寻求降低化学梯度的本能。
但是“梯度下降”可不仅仅只是昆虫的导航。环顾四周，你会发现它无处不在，从宇宙最基本的物理规则到最先进的人工智能，都有它的存在。
宇宙
我们生活在一个有着无数梯度的世界，从光和热到重力和化学轨迹。水沿着重力梯度向下流动，你的身体依靠化学溶液从高浓度到低浓度流过细胞膜而活着。宇宙中的每一个活动都由梯度驱动所驱使，从行星绕重力梯度的运动到原子沿着电荷梯度结合形成分子。我们自己的欲望，如饥饿和困倦，是由我们身体中的电化学梯度驱动的。而我们大脑的功能，也就是神经元之间突触中的离子通道里流动的电子信号，只不过是沿着更多的电学和化学梯度“向下”流动的原子和电子。忘记把大脑比作发条装置的类比吧。我们的大脑更像是带有水闸的运河系统，信号像水一样从一个状态传播到另一个状态。
当我坐在这里打字时，我实际上正在寻求n维梯度拓扑的平衡状态。只拿一个举例：热量。我的体温比气温高，所以我散发热量，这些热量必须在我的体内得到补充。我消化道里的细菌都用传感器来测量它们周围液体中的糖浓度，挥动尾巴状的鞭毛游向“上游”，那里糖的供应最丰富。所有系统的自然状态是流向低能态，这一过程可以用熵来描述。熵增就是从有序状态到无序状态的倾向；所有事物最终都会崩溃，包括宇宙本身。
但是，你如何解释更复杂的行为，比如我们做决定的能力？答案就是更多的梯度下降。
我们的大脑
我们人类的智慧充满奇迹，令人不可思议。科学界正在接受这样的观点：人类大脑的运作方式与其他任何具有多个层次和反馈回路的复杂系统一样，都在追求数学上称之为“优化函数”的东西。但从某种意义上说，你也可以称之为“向下流动”。
智能的本质是学习，我们通过把输入与积极或消极的结果，也就是奖赏或惩罚联系起来进行学习。因此，对于小宝宝来说，“这个声音”，也就是妈妈的声音，是与其他和妈妈相关的知识联系在一起的，比如食物或舒适。同样，“这种肌肉运动会让我的大拇指更靠近我的嘴”。随着时间的推移和反复试验，大脑的神经网络加强了这些联系。同时，“这种肌肉运动不会让我的大拇指靠近我的嘴”是一个负相关，大脑就会削弱这些联系。
然而这过于简单化了。梯度下降的极限构成了所谓的局部极小值问题（或局部极大值问题，如果你有梯度上升的话）。如果你在山区行走，想回家，如果你总是走下坡路，你最有可能到达的是下一个山谷，却不一定能越过围绕在山谷旁、横亘在家和你之间的其他山脉。为此，你需要拓扑的心理模型，也就是地图，这样你就知道在哪里上山以走出山谷；或者你需要时而梯度下降，时而随便走走，以便可以跳出该区域。
事实上，这正是蚊子跟随我的气味所走的路线：当它靠近我的体味时，它就会下降；当它失去气味或碰到障碍物时，它会随意飞飞。
人工智能
这就是自然。那么计算机呢？传统的软件并不是这样工作的，它遵循逻辑严格的确定性树：“如果是这样，那就这么做。”但与物理世界交互的软件往往更像物理世界。这意味着处理带有噪声的输入（传感器或人类行为），提供概率而不是确定性的结果。反过来，这意味着更多的梯度下降。
人工智能软件是最好的例子，尤其是使用人工神经网络模型的人工智能。这种模型里含有多层卷积神经网络或“深层”神经网络。在这些例子中，一个典型的过程包括“训练”它们，向它们展示许多你想让它们学习的东西，以及其他随机数据的例子。比如，要让它们学习什么是猫，就给它们提供一些标记为“猫”的猫图片和其他事物的图片。这叫作“监督学习”，之所以起这个名字是因为神经网络是通过例子来训练的，包括使用与期望结果不相关的数据进行“对抗性训练”。
这些神经网络，像它们的生物模型一样，由成千上万个节点（“神经元”）组成，每个节点通过最初具有随机强度的连接与上层和下层的所有节点相连。顶层显示数据，底层给出正确答案。任何发生在正确答案层上的一系列联系都会变得更强（“奖励”），而那些错误的联系则会变得更弱（“惩罚”）。经过成千上万次的重复，最终，这种数据会建立一个得到了充分训练的网络。
你可以把这些连接的所有可能组合想作行星的表面，有丘陵有山谷。（行星的表面是三维的，但实际的拓扑是多维的。请暂时忽略这一点。）网络在学习过程中所经历的优化就像在行星上寻找最深的山谷的过程。这包括以下步骤：
1.定义一个“成本函数”，它会给出网络解决问题的优劣程度。
2.运行一次网络，看看在该成本函数上它的运行效果如何。
3.更改连接的值，然后再次运行。这两个结果之间的差异就是两次试验之间网络移动的方向或“斜率”。
4.如果斜坡指向“下坡”，则更多地在那个方向上改变连接。如果它是“上坡”，则在相反的方向上改变连接。
5.一直重复以上操作，直到任何方向都不再需要做出改进。这意味着你处于最小值。
恭喜！但是这可能是局部最小值，又或者是在山里稍微坑洼的地方，所以如果你想做得更好，就得继续坚持下去。你不能一直往下走，你也不知道绝对最低点在哪里，所以你必须设法找到它。做到这一点的方法有很多，以下是几个方法：
1.用不同的随机设置多次尝试，分享从每次试验中学到的知识；实际上，你正在晃动系统以了解它是否处于较低状态。如果在一次试验中发现了较低的山谷，就从这些设置开始。
2.不要只是下坡，而是要像醉汉一样蹒跚而行。这叫作“随机梯度下降”。如果这种尝试坚持足够长的时间，你最终会找到底部。这其中有一种人生的隐喻。
3.只需寻找“有趣”的特征，这些特征是由多样性定义的，例如边缘或颜色变化。警告：这种方式可能导致疯狂，因为太多的“趣味性”会使网络产生光学幻觉。因此，让它保持理智，强调那些本质上可能是真实的特征，这些特征并非人工制品或错误。这叫作“正则化”，有很多技术可用来实现这一点，比如那些特征之前是否见过或学习过，是否太“高频”（像静态）而非“低频”（更连续，像实际的真实世界特征）。
不要仅仅因为人工智能系统有时会陷入局部极小值，就断定这使它们变得不像真实生命。其实人类，可能也包括所有的生命形式，都经常被困在局部极小值的范围中。
以围棋游戏为例，几千年来人类传授它、学习它、优化它。但人工智能只用了不到3年的时间就发现一直以来我们玩得都不对。它发现这个游戏有更好的，几乎是全新的解决方案，但我们人类从来没有考虑过。这主要是因为我们的大脑没有足够的处理能力，无法预先提前想出许多棋步。
国际象棋比围棋容易十倍，被认为是很好理解的游戏。但即使是国际象棋，暴力机器也能用我们的策略击败我们。事实证明，当拥有高级神经网络的人工智能系统开始研究国际象棋时，这个游戏也出现了我们从未考虑过的奇怪但高级的策略，比如为了获得不明显的长期优势而早早地牺牲女王。这就好像我们玩的国际象棋是二维版本的，实际上还有更高的维度。
如果说这些听起来很熟悉，那是因为物理学几十年来一直在研究这类拓扑问题。空间是多维的，而数学是理解超出我们感官范围的“膜”的几何形状和相互作用的简化——这正是大统一理论家研究不下去的地方。但与多维理论物理学不同，人工智能是我们可以实际实验和测量的东西。
