这也是为什么在未来生命研究所的第一次会议上，人们对人工智能的安全性研究表现出了极大的兴趣。计算机和人工智能系统总会崩溃，但这次有些不一样：人工智能逐步进入了现实世界。如果它导致供电网、股市或核武器系统的崩溃，那么这可不能用“小麻烦”这个词一笔带过。在本节剩下的部分，我会向你介绍人工智能安全性研究的4个主要领域。这4个领域是当今人工智能安全性研究方面讨论的主流，世界各地都有学者正在钻研。它们分别是：验证（verification）、确认（validation）、安全（secutiry）和控制（control）(30)。为了避免枯燥，我们先来看看信息技术过去在不同领域的成功和失败案例，看看我们能从中学到什么富有价值的教训，以及这些案例给研究带来了哪些挑战。
大多数故事发生的年代很久远，虽然那时的计算机系统十分落后，没有人会把它们和人工智能联系起来，它们也很少造成什么损失，但或多或少，还是给我们带来了一些教训，指导我们在未来如何设计安全又强大的人工智能。这些人工智能如若发生故障，就会带来真正的灭顶之灾。
人工智能让太空探索成为可能
让我们先来看看我最喜欢的领域：太空探索。计算机技术让人类登上了月球，并用无人飞行器探索太阳系的行星，甚至登上了土星的卫星土卫六和一颗彗星。我们将在第6章谈到，未来的人工智能可能会帮助我们探索其他的恒星系和星系，只要它不发生故障就行。1996年6月4日，当科学家们目睹欧洲空间局的“阿丽亚娜5号”火箭搭载着他们建造的仪器一飞冲天时，都满怀希望，欣喜若狂，期待该火箭能帮他们展开地球磁气圈的研究。但37秒之后，他们脸上的笑容立刻消失了，只见火箭在空中炸成了灿烂的烟花，亿万美元的投资毁于一旦。经过调查，他们发现导致这次事故的原因是，当火箭中的某个软件在处理一个数字时，由于这个数字太大，超出了预先分配给它的16个比特的范围，因此发生了故障[5]。两年后，NASA的火星气候探测器（Mars Climate Orbiter）意外落入了这颗红色星球的大气层，最终瓦解碎裂，此次事故由计量单位的混淆造成，飞行系统软件使用公制单位计算推进器动力，而地面人员输入的推进器参数则使用的是英制单位，导致飞行系统软件的错误率高达445%。[6]这是NASA史上第二“昂贵”的故障，排名第一位的是1962年7月22日，NASA的金星探测器“水手1号”在卡纳维拉尔角发射升空后，旋即爆炸，原因是一个符号的错误造成了飞行控制软件的故障。[7]1988年9月2日，似乎为了证明并不是只有西方人才掌握了将“故障”发射上天的本事，苏联的“福波斯1号”任务也失败了。这是有史以来最重的行星际飞行器，它拥有一个远大的目标：在火卫一上安置一个着陆器。但这一切因为一个连字符的丢失而烟消云散。这个故障将“中止任务”的指令发送给了正在赶往火星途中的“福波斯1号”，导致它关闭了所有系统，与地球的通信中断。[8]
这些教训告诉我们，计算机科学家所说的“验证”非常重要。验证的意义是，保证软件完全满足所有的预期要求。关系到的生命和资源越多，我们就越希望软件能达到预期要求。幸运的是，人工智能可以帮助我们把“验证”这个过程变得自动化，并对其进行改善。比如，seL4是完全通用型的操作系统内核，它最近进行了一次精确的规范标准验证，旨在保证不会发生崩溃和不安全的运行。虽然它还没有微软Windows和Mac OS系统那些花哨的装饰，但你可以放心大胆地使用，而不用担心它出现蓝屏死机或旋转彩球的现象。美国国防部高级研究计划局（DARPA）资助开发了一系列可被证明是安全的高可靠性开源工具，称为“高可靠性网络军事系统”（High Assurance Cyber Military Systems，简称HACMS）。不过，我们要面对的一个重要挑战是，如何让这些工具变得足够强大，并易于使用，这样它们才会被广泛使用；另一个挑战是，当软件运用于机器人和新环境时，当传统的预先编程软件被能够持续学习的人工智能取代并因此改变行为时，“验证”任务本身会变得更加困难。
为金融业带来巨大盈利机会的人工智能
金融业是另一个被信息技术改变的领域。信息技术让金融资源在全球范围内以光速进行高效地重新分配，让所有昂贵的东西，比如按揭贷款和创业，变得唾手可得。人工智能的进展很可能会给金融贸易行业带来巨大的盈利机会，比如，如今股票市场中的大部分买卖决定都是由计算机自动做出的，而且，我在麻省理工学院的有些学生毕业时总是会受到高薪的诱惑，去改善这些算法，以让计算机做出更好的决策。
验证对金融软件的安全性来说，也十分重要。在这一点上，美国公司骑士资本集团（Knight Capital）在2012年8月尝到了血泪般的教训：它在45分钟内损失了4.4亿美元，只因其部署了未经验证的交易软件。[9]不过，发生于2010年5月6日、造成数万亿美元损失的华尔街的“闪电崩盘”（Flash Crash）事故则是另一个原因导致的。虽然“闪电崩盘”事故在市场恢复稳定的半小时前造成了巨大的损失，使得像宝洁这样的著名公司的股价在1分钱和10万美元之间来回摇摆，[10]但这个事故并不能通过“验证”避免，或者是由计算机失灵造成的，而是因为“预期被违背”：许多公司的自动交易程序进入了一个意料之外的情形，在这个情形下，它们的前提假设失效了，比如，其中一个失效的假设认为，如果股票交易计算机报告的股票价格是1美分，那这只股票的价格就真的是1美分。
“闪电崩盘”事故说明，计算机科学家所谓的“确认”非常重要。“验证”问题问的是“我建造系统的方式正确吗”，而“确认”问题问的是“我建造的系统正确吗”，比如，这个系统所依赖的假设是不是总是有效？如果不是，如何改进它，才能更好地应对不确定的情况？(31)
人工智能将引发一切制造业的新潮流
不用说，人工智能在改进制造业上具有巨大的潜力，它控制的机器人在效率和精度上都有很大的提升。日新月异的3D打印机能打印出任何东西的原型，从写字楼到比盐粒还小的微型机械；体积庞大的工业机器人生产着汽车和飞机，与此同时，计算机控制的便宜轧机、机床、切割机等机器不仅驱动着工厂的运转，还催生了草根级的“创客运动”（maker movement），世界各地的爱好者们在1 000多个由社区运营的“微观装配实验室”（fab labs）中实践着自己的想法[11]（见图3-3）。
图3-3 机器人工作坊
注：传统的工业机器人十分昂贵，也很难编程。现在的趋势是使用人工智能控制的机器人，它们更加便宜，还可以从毫无编程经验的工人那里学习。
不过，我们周围的机器人越多，对它们的软件进行“验证”和“确认”的重要性就越高。
历史上第一个被机器人杀死的人是罗伯特·威廉姆斯（Robert Williams），他是美国密歇根州弗拉特罗克福特汽车工厂的一名工人。1979年，一个本应从储物区取回零件的机器人发生了故障，于是，他爬上该区域，准备亲自取回零件，而这时，机器人一声不响地重新运作起来，敲碎了他的脑袋，直到30分钟后，他的同事才发现这个惨状[12]。第二个机器人的受害者是日本川崎重工业集团明石工厂的维护工程师浦田健志（Kenji Urada）。1981年，他在维修一台坏掉的机器人时，不小心按下了开关，被机器人的液压臂碾压致死[13]。2015年，在德国包纳塔尔一家大众汽车生产车间里，当一名22岁的合同工在设置机器人、好让它抓取和操纵汽车零件时，发生了一些故障，致使机器人抓住他，并将他压死在一块金属板上[14]。
虽然这些意外事故都很惨痛，但我们必须意识到，它们只是所有生产事故中很小的一部分。此外，随着技术的进步，生产事故的数量已经减少了许多，美国的死亡人数从1970年的14 000例降低到了2014年的4 281例[15]。上面提到的三个例子说明，如果将智能植入愚钝的机器中，让机器学会在人类周围时更加小心谨慎，那么，生产的安全性就一定能得到进一步提升。如果有更好的“确认”，以上三个事故都可以避免。这些机器人造成严重的后果，不是因为故障，也不是出于恶意，而是因为它们做出了无效的假设，这个假设就是：那里没有人，或者那个人是一个汽车零部件。
交通运输业，人工智能大施拳脚的重地
虽然人工智能体在制造业中挽救了许多生命，但它能拯救更多人的领域却是在交通运输业。2015年，单是交通事故就吞噬了120万条生命，空难、列车事故和船难加起来共造成了数千人的死亡。美国的工厂安全标准很高，2016年的机动车事故共造成35 000人死亡，比所有生产事故加起来的死亡人数的7倍还多[16]。2016年，在得克萨斯州奥斯汀举行的美国人工智能发展协会年度会议上，以色列计算机科学家摩西·瓦尔迪（Moshe Vardi）在人工智能改善交通事故上表达了强烈的认同。他认为，人工智能不仅能够降低交通事故的死亡人数，而且这是它必须做的事情。他宣称：“这是一项伦理责任！”由于大多数车祸都是由人类的错误导致的，因此，许多人都相信，采用人工智能驱动的无人驾驶汽车将能降低至少90%的由交通事故导致的死亡人数。在这种乐观想法的驱动之下，无人驾驶汽车的研究正在如火如荼地进行。在埃隆·马斯克的设想中，未来的无人驾驶汽车不仅会更安全，还能利用闲暇时间在打车应用Uber和Lyft的竞争中掺一脚，为它们的主人赚钱。
目前，无人驾驶汽车的安全记录确实比人类司机的更好，而过去发生的事故强调了“确认”的重要性和难度。无人驾驶汽车的第一次轻微交通事故发生在2016年2月14日，一辆谷歌无人驾驶汽车对一辆公交车做出了错误假设，它错以为当它在公交车前面驶入主路时，公交车司机会让它先行。无人驾驶汽车的第一次致命事故则发生在2016年5月7日。一辆自动驾驶的特斯拉汽车在交叉路口撞上了一辆卡车后面的拖车。这个事故是由两个错误的假设造成的[17]：第一，它错以为拖车上明亮的白色部分只是天空的一部分；第二，它错以为司机正在注意路况，如果有事发生，他一定不会袖手旁观(32)。后来证明，这位拖车司机当时正在看电影《哈利·波特》。
但是，有时就算有了好的“验证”和“确认”，还不足以完全避免事故，因为我们还需要好的“控制”，也就是让人类操作员能够监控系统，并在必要时改变系统的行为。想要这种人工介入（human-in-the-loop）的系统保持良好的工作状态，就必须保持有效的人机交流。比如，如果你忘记关上汽车的后备箱，那么，仪表盘上就会亮起红色的警报灯来提醒你。相比之下，英国渡轮“自由企业先驱号”在1987年3月6日离开泽布吕赫港时，舱门未关闭，船长却没有收到警报灯等的警告，结果，渡轮在离开港口后迅速倾覆，酿成了193人殒命的惨剧。[18]
2009年6月1日晚，又一次发生了因缺乏“控制”造成的悲剧。如果人机交流更好一些，这个悲剧本可以避免。当晚，法国航空447号航班坠入了大西洋，飞机上的228人无一生还。官方事故调查报告称，机组人员未能意识到飞机已失速，因此，未能及时做出恢复操作，比如下推飞机头部，但等意识到时为时已晚。航空安全专家认为，如果驾驶舱内有一个能提醒飞行员机头上翘角度过大的攻角指示器，这场悲剧便可以避免。
1992年1月20日，因特航空148号航班坠毁在法国斯特拉斯堡附近的孚日山脉，87人不幸丧生。这次事故的原因倒不是缺乏人机交流，而是用户界面不清楚。飞行员想以3.3度的角度下降，因此在键盘上输入了“33”，但自动驾驶仪却将其解读为“每分钟10千米”；由于自动驾驶仪当时处在另一种模式，而显示屏的尺寸过小，导致模式没有显示完整，致使飞行员忽略了显示出的错误。
人工智能让能源优化更高效
信息技术在发电和配电方面发挥了神奇的作用。它用精巧的算法在全球电网中对电力的生产和消耗进行平衡，并用复杂的控制系统保持发电厂安全有效地运行。未来的人工智能程序有可能将智能电网变得更加智能，它能对时时变化的电力供给和需求进行优化调整，甚至能在单个屋顶太阳能电池板和单个家用蓄电池系统的层面上进行调整。然而，2003年8月14日，在那个星期四，美国和加拿大约有5 500万人遭遇了停电，在某些地方，停电甚至持续了好几天。无独有偶，这次事故的主要原因也是因为人机交流的不畅通：在俄亥俄州的一间控制室内，一个软件故障让一个警报系统失灵，未能及时提醒操作员进行电力的重新分配，就像一条过载的线路碰上了未经修剪的树枝，使得一个小问题逐渐走上了失控的道路。[19]
1979年3月28日，宾夕法尼亚州三里岛的一个核反应堆发生了部分堆心融毁事故，导致了约10亿美元的清理费用，并引发了人们对建立核电站的大规模抗议。最终的事故调查报告揭露了多个原因，比如糟糕的用户界面。[20]特别值得一提的是，有一个警示灯，操作员认为它指示的是一个重要的安全阀门的开启状态，而实际上，它指示的是关闭阀门的信号有没有被发出去，因此，操作员根本没有意识到这个阀门在关闭时卡住了，一直保持开着的状态。
这些发生在能源业和交通业的事故告诉我们，当我们把人工智能植入越来越实体化的系统中时，不仅需要研究如何让机器自身能运转良好，而且还需要研究如何才能让机器与人类操控者有效地合作。随着人工智能越来越聪明，我们这不仅需要为信息共享开发出更好的用户界面，还需要研究如何才能在人机协作的团队中更好地分配任务。比如，将一部分控制权移交给人工智能，将人类的判断力运用到价值最高的决策问题上，而不是让许多不重要的信息来分散人类操控者的注意力。
为医疗服务业带来巨大变革的人工智能
人工智能在改善医疗服务方面有着巨大的潜力。医疗记录的电子化让医生和病人可以更快和更好地做决定，并让全世界的专家能实时对电子图像进行诊断。实际上，由于计算机视觉和深度学习的快速进步，人工智能系统可能很快会成为最好的诊断专家。比如，2015年，荷兰的一项研究表明，计算机用核磁共振成像（MRI）诊断前列腺癌的表现与人类放射科医生不相上下[21]。2016年，一项斯坦福大学的研究表明，人工智能用显微镜图像诊断肺癌的表现甚至比人类病理学家还要好[22]。如果机器学习能够帮助人们揭示基因、疾病和治疗反应之间的关系，那么，它就能变革个性化医疗，能使家畜更加健康，还能增强农作物的适应性。此外，即便没有先进的人工智能加持，机器人依然有潜力成为比人类更精准和可靠的外科医生。近年来，机器人完成了一系列成功的外科手术，这些手术的精度很高，设备和创口都很小，减少了手术的失血量，降低了病人的痛苦程度，并缩短了恢复的时间。
不过，在医疗行业，同样有着许许多多的血泪教训，无时无刻不在提醒着我们，软件的稳健性有多么重要。比如，加拿大生产的Therac-25放射治疗仪的设计初衷是用两种不同模式来治疗癌症患者：第一种采用低能电子射线；第二种采用高能兆伏级别的X射线，并用特殊的防护物来保持对靶。不幸的是，未经验证的软件时而发生故障，使得技术人员在发射兆伏射线时误以为自己发射的是低能射线，由于缺少防护物，无意中夺走了几名患者的生命。[23]巴拿马国立肿瘤研究所（National Oncologic Institute）的放疗设备使用具有放射性的钴-60来治疗患者，由于其用户界面没有经过正确的验证，使用起来很容易令人误解。2000年和2001年，该设备被编入了过长的暴露时间，导致许多病人死于辐射过量[24]。根据最近一份报告[25]，在2000—2013年，有144例死亡和1 391例受伤是由手术机器人事故造成的，主要的原因不仅包括硬件问题，比如电弧，烧坏或损坏的零件落入患者体内，还包括软件问题，比如失控的操作和自发性断电。
值得庆幸的是，该报告还称，除此之外的200万例机器人手术都进行得十分顺利，而且，机器人手术的安全性正变得越来越高。美国政府的一项研究表明，单在美国，每年因糟糕的住院治疗造成的死亡人数超过10万人[26]，因此，为医疗行业开发更先进的人工智能的伦理责任可能比开发无人驾驶汽车的伦理责任更大。
颠覆通信业的人工智能
通信行业可能是迄今为止受计算机影响最大的行业了。人们在20世纪50年代发明了计算机化的电话交换机，60年代发明了互联网，1989年发明了万维网，如今，数十亿人通过在线的方式进行交流、购物、阅读新闻、看电影或玩游戏，习惯于点击一下就获得全世界的信息——通常还是免费的。物联网的出现正在将一切事物连到网上，从灯泡、恒温器、冰箱到家畜身上的生物芯片收发器。物联网可以改善效率和精度，让一切变得更加方便和经济。
这些惊人的成就将世界连接在一起，也给计算机科学家带来了第四个挑战：他们不仅需要改进验证、确认和控制，还需要保证“安全”，使人工智能不受恶意软件和黑客的攻击。前面我提到的那些事故都是由于不小心的错误造成的，而安全却是因“故意图谋不轨”而导致的。最早引起媒体注意的恶意软件叫作“莫里斯蠕虫”（Morris worm），它施放于1988年11月2日，主要利用UNIX操作系统中的漏洞。据称，它的最初目的是想测量网上有多少台计算机。不过，虽然莫里斯蠕虫感染了当时互联网上10%的计算机（当时总共约有6万台计算机），让它们全数崩溃，但这并没能阻挡住它的发明者罗伯特·莫里斯（Robert Morris）获得麻省理工学院计算机科学系终身教授职位。
还有一些蠕虫，利用的不是软件漏洞，而是人的漏洞。2000年5月2日，仿佛是为了庆祝我的生日，微软Windows用户开始收到来自朋友和同事的电子邮件，标题是“ILOVEYOU”，点击名为“LOVE-LETTER-FOR-YOU.txt.vbs”的邮件附件后，不知不觉在计算机上启动了一个会损害计算机的脚本。这个脚本还会将这封邮件自动转发给该用户通讯录中的所有联系人。这个蠕虫的始作俑者是两名年轻的菲律宾程序员。和莫里斯蠕虫一样，它感染了互联网上大约10%的计算机。由于这时的互联网规模比莫里斯蠕虫时的大很多，它成为史上感染计算机最多的蠕虫，影响了超过5 000万台计算机，造成的损失超过50亿美元。你或许早已痛苦地意识到，今天的互联网中依然出没着数不清的传染性恶意软件。安全专家们将这些软件分为许多类型，名字听起来都十分吓人，比如蠕虫、木马和病毒。它们造成的损害也多种多样，有的会显示无害的恶作剧信息，有的会删除你的文件、盗取你的个人信息、监视你的一举一动，或者控制你的计算机来发送垃圾邮件。
恶意软件的目标是任何一台计算机，但黑客的目标则不一样。黑客攻击的是互联网上的特定目标，最近引起人们注意的受害者包括塔吉特公司（Target）、折扣零售公司TJ Maxx、索尼影视娱乐公司、婚外情网站阿什利·麦迪逊、沙特阿美石油公司和美国民主党全国委员会。此外，黑客们的战利品也越来越惊人。2008年9月，黑客从哈特兰支付系统公司盗取了1.3亿个信用卡号码和其他账户信息；2013年，黑客黑入了超过10亿个雅虎邮箱账户。[27]2014年，有人黑入了美国政府的人事管理办公室，盗取了超过2 100万人的个人资料和职位申请信息，据称，其中包括最高机密级别的雇员和卧底探员的指纹信息。
因此，每当我读到有人声称某个新系统100%安全、永远不会被黑客破解时，我就忍不住翻个大大的白眼。但是，如果未来我们用人工智能来管理一些系统，比如重要的基础设施或武器，那么，我们确实需要保证它们是黑客无法破解的。因此，随着人工智能在社会中所扮演的角色越来越多，计算机安全的重要性也越来越凸显出来。一些黑客利用的是人类的轻信或新软件中复杂的缺陷，还有一些黑客的攻击则是利用一些长期无人注意的简单漏洞，以便在未经授权的情况下登录远程计算机。2012—2014年肆掠的“心脏出血漏洞”就存在于最流行的计算机间加密通信软件库中；1989—2014年，有一个叫“Bashdoor”的漏洞也被植入了UNIX计算机操作系统中。这意味着，在“验证”和“确认”方面有所改善的人工智能工具也将能提升安全等级。
不幸的是，更好的人工智能也可以用来寻找新的缺陷和执行更复杂的攻击。比如，请想象一下，某一天你收到了一封不寻常的“钓鱼”邮件，试图引诱你泄露个人信息。这封邮件是从你朋友的账户发出的，但实际上这个账户遭到了人工智能的挟持。这个人工智能假扮成你的朋友，分析了他的已发邮件，它不仅能模仿他的文字风格，还在邮件中包含了来自其他来源的关于你的个人信息。你会上当受骗吗？如果这封钓鱼邮件发送自你的信用卡公司，接下来还有一个十分友善的人类声音给你打了个电话，而你根本无法分辨这个声音是不是人工智能生成的，你又会如何处理呢？在计算机安全领域，攻守双方之间的军备竞赛正如火如荼地进行，而目前来看，防守方的胜算甚小。
法律之争
人类是社会性动物，多亏了我们的合作能力，才战胜了其他动物，占领了地球。为了激励和促进合作，我们制定了法律。因此，如果人工智能可以改善我们的法律和政府系统，它就能让人类达到前所未有的合作水平，带来巨大的好处。在这方面，存在着大量的进步机会，不仅涉及法律的执行，还涉及法律的撰写。现在，我们就来探讨一下这两个方面。
当想到法院体系时，你的第一印象是什么？如果是冗长的延期、高昂的费用和偶尔出现的不公平，那么，你并不是唯一一个这样想的。如果能把这种第一印象扭转为“高效”和“公平”，是不是一件绝妙的事？由于法律程序能被抽象地看作一个计算过程，输入证据和法律信息后就能输出判决结论，因此，许多学者梦想着能用“机器人法官”（robojudges）来将这个过程自动化。机器人法官就是一种人工智能，它能不知疲倦地将同样高的法律标准运用到每次判决中，而不会受到人类错误的影响，这些错误包括偏见、疲劳或知识陈旧等。
机器人法官
1994年，美国白人拜伦·德·拉·小贝克威思（Byron De LaBeckwith Jr.）因在1963年刺杀民权领袖梅加·埃弗斯（Medgar Evers）而被判有罪，但在谋杀发生的第二年，尽管证据充足且完全相同，两个全由白人组成的密西西比陪审团却没有判决他有罪[28]。呜呼哀哉，法律历史中充斥着因肤色、性别、性别取向、宗教、国籍等因素而导致的判决偏见。从原则上来说，机器人法官能保证法律面前人人平等，这是有史以来的第一次。通过编程，机器人法官可以对所有人一视同仁，并可以完全透明、不偏不倚地运用法律。
机器人法官还可以消除意外出现而非有意为之的人类偏见。比如，2012年，有人对以色列的法官进行了一项富有争议的研究[29]，研究声称，当法官饥饿时，就会做出更加严厉的判决。但是，这些法官否认大约35%的假释决定发生在刚吃完早餐以后，也否认超过85%的假释拒绝发生于正要吃午餐前。人类判断的另一个缺点是，人类没有足够的时间来了解每个案件的所有细节。相比之下，机器人法官可以很容易地进行复制，因为它们只由软件组成，可以同时处理所有的未决案件，而不用一个接一个地解决。这样一来，机器人法官就可以在每个案件上花费足够长的时间。最终，尽管人类法官不可能掌握困扰司法科学领域的每个案子（从棘手的专利纠纷到神秘谋杀案）所需要的技术知识，但从本质上来说，未来的机器人法官却拥有无穷无尽的记忆空间和学习能力。
总有一天，这样的机器人法官将变得更加有效和公平，因为它们不偏不倚，公正不阿，聪明能干，并且办案透明。它们的高效会进一步提升公平性。通过加快司法程序建设，使其更难被狡猾的律师影响，机器人法官就能以相当低的成本实现法庭的公正性。当穷人与亿万富翁或者坐拥豪华律师阵营的跨国企业对抗时，这可以极大地提高前者获胜的机会。
但是，如果机器人法官出现了漏洞，或者被黑客攻击，怎么办呢？这两个问题已经在自动投票机上发生了。这些问题会导致某些人陷入多年的牢狱之灾或者多年积蓄毁于一旦，这也使黑客进行网络攻击的动机变得更强。即便我们能把人工智能建造得足够稳定，足以让人们相信机器人法官使用的算法是合理合法的，但是，是不是所有人都会感到他们能理解机器人法官的逻辑推理过程并尊重它的判断呢？近期，神经网络算法的成功研究进一步增加了应对这一挑战的胜算。神经网络算法的表现经常优于传统的人工智能算法，但传统的算法都很容易理解，而神经网络算法却高深莫测。如果被告想知道他们为何被定罪，我们难道不应该给出比“我们用大量数据训练了算法，这就是它的结论”更好的回答吗？此外，近期的研究发现，如果你用大量囚犯的相关数据训练深度神经网络学习系统，它就能比人类法官更好地预测哪些囚犯会再次犯罪，并据此拒绝他们的假释。但是，如果深度神经网络系统发现，从统计学上来说，累犯率与囚犯的性别或种族有联系，那么，这个性别歧视和种族歧视的机器人法官是不是应该回炉重“编”呢？实际上，2016年的一项研究认为，美国使用的累犯率预测软件对黑人有偏见，并曾导致了不公平的判决[30]。这些问题十分重要，急需思考和讨论，这样才能保证人工智能对人类是有益的。面对机器人法官这件事，我们要决定的问题不是“要不要使用”，而是司法体系对人工智能的应用应该达到什么程度，以及以什么样的速度推进。要不要让法官像未来的医生那样使用基于人工智能的决策支持系统？要不要更进一步，让机器人法官的判决可以上诉到人类法官？或者一路走到底，让机器人法官来做死刑判决？
让法律适应人工智能的进步
到目前为止，我们只探索了法律方面的应用，现在让我们来看看法律的内容。大多数人都认同，我们的法律需要不断地更新，以跟上技术的脚步。比如，那两个创造了“ILOVEYOU”蠕虫、造成了几十亿美元损失的程序员，之所以被宣判无罪，大摇大摆地走出了法庭，只是因为那个年代的菲律宾还没有制定针对恶意软件的法律。由于技术进步一直在不断地加速，因此，法律总易表现出落后于技术的倾向。我们必须以更快的速度更新法律，才能让法律跟上技术的发展。让更多热爱技术的人进入法学院和政府，或许是一个有益社会的妙招。但接下来，应不应该在选举和立法方面使用基于人工智能的决策支持系统？或者彻底一点，干脆用机器来立法？
如何改变我们的法律以适应人工智能的进步，这是一个令人着迷的争议话题。其中一个争论反映了隐私与信息自由之间剑拔弩张的紧张关系。自由派认为，我们拥有的隐私越少，法庭拥有的证据就越多，判决就会越公平。比如，如果政府有权接入每个人的电子设备，记录他们的位置、他们输入的内容、点击的东西以及所说的话和做的事，许多犯罪行为就能被抓个现形，还可能被杜绝。而隐私派的支持者反驳说，他们不想看到奥威尔式的监控；即便自由派认同的这种情况真的出现了，社会很可能会陷入大规模的集权主义的独裁局面。此外，机器学习技术通过分析功能磁共振成像扫描仪等脑部传感器收集的大脑数据，以判断人类想法（尤其是测谎）的能力逐渐变得越来越强。[31]在目前的法庭上，案例事实的还原是一个单调而又冗长的过程；如果让基于人工智能技术的脑部扫描技术走进法庭，这个过程将被极大地简化和加快，能使判决更快，也更公平。但是，隐私派的支持者可能会担心这种系统会不会犯错误。还有一个更根本的问题是，我们的思想到底应不应该接受政府的检查。如果一个政府反对自由主义，那它可以用这种技术对拥有这些信仰和观点的人定罪。在公正和隐私之间、在保护社会和保护个人自由之间，你的界限在哪里？这条界限（无论它在哪里）会不会不可阻挡地逐渐移向减少隐私的方向，以此来抵消证据越来越容易被伪造的事实？比如，如果人工智能有能力生成一段你实施犯罪的虚假视频，而且它看起来非常真实，简直能以假乱真，那么，你会不会投票支持政府追踪每个人的实时位置，以此来洗刷你被栽赃的罪名？
还有一个迷人的争议是：人工智能研究是否应该受到监管？或者，政策制定者应该给人工智能研究者以什么样的激励，才能让他们的研究结果尽可能的有益。一些研究者反对对人工智能研究进行任何形式的监管。他们声称，监管会延迟一些迫在眉睫的创新，比如能减少交通事故的无人驾驶汽车，而这些延迟本来是不必要的，会导致对人工智能的前沿研究转向地下，或者转移到对人工智能更宽容的国家。在第1章提到的波多黎各的“人工智能有益运动”会议上，埃隆·马斯克说，当下我们需要政府做的不是监督，而是洞察。具体来说，就是让具备技术能力的人在政府内担任职位，监控人工智能的进展，并在未来需要的时候插手控制。马斯克还说，政府监管有时候能够促进技术进步，而不是扼杀进步。比如，如果政府颁布的《无人驾驶汽车安全标准》能够降低无人驾驶汽车的事故发生率，公众的反对声音就会变小，这样，就能加速新技术的使用。因此，最在意安全的人工智能公司或许会希望政府进行监管，因为这样，那些疏忽大意的竞争者就只能埋头苦干，以追赶前者极高的安全标准。
不过，还有一个有趣的法律争议是，要不要赋予机器权利。美国每年因交通事故丧生的人数达32 000人；假如无人驾驶汽车将死亡人数减半，汽车厂商很可能并不会收到16 000封感谢信，而是16 000起官司。那么，如果无人驾驶汽车发生了交通事故，应该由谁来负责呢？是它的乘客、拥有者还是生产厂家？法律学家戴维·弗拉德克（David Vladeck）给出了不同的答案：由汽车自己负责！具体而言，他提出，应该允许甚至要求无人驾驶汽车持有保险。这样，安全记录良好的汽车型号所需支付的保险费就会很低，甚至可能比人类司机买的保险费还低；而那些马虎大意的厂商生产的设计糟糕的汽车型号只适用于高昂的保险单，进而催高了它们的价格，使其变得过于昂贵，无人想买。
但是，如果我们允许机器（例如汽车）持有保险，那么，我们是否也应该允许它们拥有货币和财产？如果允许的话，从法律上来说，我们就无法阻止聪明的计算机在股市上大捞一笔，并用赚到的钱来购买在线服务。一旦计算机开始付钱给人类，让人类为它工作，那它就能实现人类能做到的一切事情。如果人工智能系统在投资上的表现好于人类，实际上它们在某些领域已经超过人类了，这就有可能出现一种情形：由机器占有和控制了社会大部分的经济命脉。这是我们想要的情形吗？如果这听起来还很遥远，那么请想一想，我们经济的大部分事实上已经属于另一种非人类实体：公司。公司通常比任意单个员工都要强大，就像拥有自己的生命一样。
如果你觉得赋予机器财产权是可以接受的，那么，可不可以赋予它们投票权呢？如果可以，应不应该给每个计算机程序一张选票？但程序可以在云端自我复制；假如它足够富有，甚至可以复制出几千亿份，并以此来影响选举结果。如果你认为不能赋予机器投票权，那么，我们要用什么伦理基础来大言不惭地“歧视”机器意识，认为机器意识不如人类意识？如果机器意识拥有自我意识，能像我们一样拥有主观体验，那答案会有所不同吗？我们将在第4章更深入地探讨与计算机控制世界有关的争议问题，然后在第8章讨论与机器意识有关的话题。
武器
自古以来，人类就遭受着饥荒、疾病与战争等问题的折磨。我们已经提到了人工智能可以减少饥荒和疾病，那战争呢？有些人声称，核武器制止了拥有核武器的国家之间发生战争，因为它们实在是太可怕了；以此类推，何不让所有国家都开发出可怕的人工智能武器，这样就可以一劳永逸地将战争从地球上抹去了。如果你不相信这种论调，并坚信未来的战争是不可避免的，那么，何不用人工智能来让战争变得更加人道？如果战争中只有机器和机器打仗，那么，就不会牺牲人类士兵或者平民。此外，未来由人工智能驱动的无人机等自动化武器系统(33)很可能会比人类士兵更加公正和理性：它们会装备超人的传感器，并且不会惧怕死亡。它们还能时刻保持冷静，即使在激烈的战场上也能进行清醒的计算，不容易错杀平民（如图3-4所示）。
图3-4 美国空军MQ-1捕食者号
注：今天的军事无人机，比如美国空军MQ-1捕食者号，都是由人类远程操控的，而未来的无人机是受人工智能控制的，有可能会抹掉人类在决策链中的地位，转而使用算法来决定谁是应该被除掉的目标。
人类介入与否
如果自动化武器系统出现漏洞，搞不清状况，或者行为未能达到我们的预期，会发生什么事呢？美国宙斯盾驱逐舰的密集阵系统(34)能自动侦察、追踪和袭击具有威胁性的目标，比如反舰导弹和飞行器。已经退役的美国海军“文森斯号”巡洋舰（USS Vincennes）是一艘制导导弹巡洋舰，昵称叫“机器人巡洋舰”（Robocruiser），因为它装备了宙斯盾系统。1988年7月3日，在两伊战争的一场小规模战役中，“文森斯号”巡洋舰对阵几艘伊朗炮艇。当时，雷达发出警告，显示有一架飞行器正在靠近，船长威廉·罗杰斯三世（William Rodgers III）推断，一定是一架伊朗的F-14战斗机正在俯冲过来袭击他们，于是授权宙斯盾系统开火。然而，他没想到的是，击落的其实是伊朗航空655号航班，这是一架伊朗民用客机，导致飞机上的290人全部罹难，引起了全世界的愤怒和谴责。后续调查结果显示，“文森斯号”巡洋舰糟糕的用户界面不能自动显示雷达屏上的哪些点是民用飞机，当时655号航班沿着自己的日常航线飞行，并开启了它的民用飞机应答机；“文森斯号”巡洋舰用户界面也不能显示哪些点在下降，意在袭击，哪些点在上升，当时655号航班从德黑兰起飞后在爬升。相反，当“文森斯号”巡洋舰自动化系统接收到关于那架神秘飞行器的查询请求时，它报告称“下降”，其实这是另一架飞机的状态，自动化系统错误地为那架飞机分配了一个海军用来追踪飞机用的编号。实际上，当时正在下降的飞机是一架由远在阿曼湾的美国部队远程操控的空中战斗巡逻机。
在这个案例的决策链中，是人类做出了最终的决定。在时间的压力下，他过于信任自动化系统告诉他的信息，以致酿成了惨剧。根据全世界各个国家国防部门的说法，目前所有武器部署系统的决策链中都有人类参与，除了低技术含量的诡雷，比如地雷。但是，这些系统正在朝“全自动化武器”的方向发展，这种自动化武器系统能够自主选择和袭击目标。将人类排除出决策链之外，能够提高速度。从军事上来说，这具有很大的吸引力。如果在一场空战中，一方是完全自动化的无人机，能够立刻做出反应，而另一方的无人机反应更迟钝一些，因为它的操控员是坐在地球另一边的人类，你认为哪一方会赢？
不过，在一些案例中，完全是因为决策链中有人类的存在才能侥幸脱险。1962年10月27日，在古巴导弹危机中，11艘美国海军驱逐舰和“伦道夫号”航空母舰在古巴附近、美国“检疫隔离”区域之外的公海水域与苏联潜艇B-59狭路相逢。美国军方当时不知道，潜艇B-59上的温度已经升高到了45℃（相当于113华氏度），因为潜艇B-59的电池耗尽，只得关闭空调。由于吸入了过多的二氧化碳，潜艇B-59上的许多船员都晕过去了，濒临中毒的边缘。潜艇B-59上的船员与莫斯科失去联系好几天了，所以根本不知道第三次世界大战是不是已经爆发了。接着，美国军方开始向潜艇发射小型深水炸弹。潜艇B-59上的船员并不知道，美国军方已经告知了莫斯科方面，他们发射炸弹只是为了警告，迫使潜艇B-59浮上水面并离开。“我们认为，就是这样了，死到临头了，”船员奥尔洛夫（V. P. Orlov）回忆说，“感觉就像坐在一个铁桶里，外面有人不停地用锤子猛敲。”还有一件事美国军方当时也不知道，潜艇B-59上搭载着一枚核鱼雷，潜艇上的军官有权在不请示莫斯科的情况下发射它。鱼雷军官瓦伦汀·格里戈里耶维奇（Valentin Grigorievich）大喊：“我们会死，但我们要把他们都击沉，不能让我们的海军蒙羞！”幸运的是，发射鱼雷的决定需要经过潜艇上三名军官的一致同意。其中有一个名叫瓦西里·阿尔希波夫（Vasili Arkhipov）的军官坚持说“不行”。虽然很少有人听说过阿尔希波夫这个名字，但他的决定可能避免了第三次世界大战的爆发，他或许是现代历史上以一己之力为人类做出最大贡献的人[32]。我们还需要思考的是，假如潜艇B-59是一艘完全由人工智能控制、人类无法插手的潜艇，又会发生什么样的事呢？
20年后的1983年9月9日，两个超级大国之间再次出现剑拔弩张的紧张局面：美国时任总统罗纳德·里根将苏联称为“邪恶帝国”；而就在前一个星期，苏联击落了一架飞入它领空的大韩航空客机，造成269人死亡，其中包括一名美国国会议员。当时苏联的一个自动化预警系统报告称，美国向苏联发射了5枚陆基核导弹。而此时，只留给军官斯坦尼斯拉夫·彼得罗夫（Stanislav Petrov）几分钟的时间来决定，这是不是一个假警报。他们检查卫星发现，它的运转是正常的，或许，这会促使彼得罗夫给出“核袭击即将到来”的报告。但是，彼得罗夫相信自己的直觉，因为他觉得，如果美国要袭击的话，不会只用5枚导弹，因此他向自己的长官汇报称，这是一个假警报，尽管那时候他并不知道实情。后来的调查发现，卫星当时犯了一个错，将太阳投射在云层上的阴影误认为是火箭引擎的火焰。[33]我很怀疑，如果当时不是彼得罗夫，而是一个循规蹈矩的人工智能系统，会发生什么样的事。
