AI的风险管理
前美国联邦贸易委员会技术长、现在是哈佛大学教授的拉坦雅．史威妮（Latanya Sweeney），意外得知有个同事在Google搜寻她的名字，结果找到她的一篇论文，还发现有广告暗示她曾经遭到逮捕。1史威妮点了广告，付了费用，得知她已经知道的事实：她从未被捕。好奇之下，她输入同事亚当．泰纳（Adam Tanner）的名字，出现同一家公司的广告，但并没有曾被逮捕的暗示。经过更多次搜寻之后，她做了一个假设：听起来像黑人的名字会触发暗示遭到逮捕的广告。史威妮接着又更为系统化地测试这一点，发现如果在Google搜寻会让人联想到黑人的名字，如拉琪夏（Lakisha）或崔冯（Trevon），出现暗示曾遭逮捕广告的可能性，会比搜寻像吉儿（Jill）或乔舒亚（Joshua）这类名字高出25％。2
这种偏见可能带来伤害。搜寻者寻找资料也许是想知道某个人是否适合一项工作。如果他们找到有类似「拉坦雅．史威妮，可曾遭到逮捕？」标题的广告，搜寻者可能会有些怀疑。这是歧视，也是诽谤。
为什么会发生这种事？Google提供的软件让广告主可以测试并锁定特定关键词。广告主或许是输入有种族联想的名字，顺带投放广告，只是Google否认；3另一个可能性是Google的算法导致这种模式，Google的算法会宣传「质量评分」较高的广告（意思就是比较可能被点击的广告）。预测机器可能在这里发挥作用。比方说，如果搜寻名字的潜在雇主，在名字听起来像黑人的时候，比较有可能点击查询是否有遭逮捕的广告，那么以这种关键词投放广告的相关质量评分可能会增加。Google无意歧视，但它们的算法或许放大社会已经存在的成见。这种貌向分析（profiling）具体说明执行AI的风险。
歧视风险
种族貌向（racial profiling）的出现是个社会议题，但对Google之类的公司也是个潜在问题。它们可能和反就业歧视的规定冲突。所幸，在史威妮等爆料者举发问题时，Google积极响应，调查并纠正问题。
歧视或许会以更细腻的方式出现。经济学家安雅．蓝布瑞特（Anja Lambrecht）与凯瑟琳．塔克（Catherine Tucker）在2017年的研究显示，脸书广告可能会导致性别歧视。4她们在社群网络投放科学、科技、工程与数学领域的工作职缺广告，发现脸书比较不会向女性展示这些广告，这并非因为女性比较不可能点击广告，或是她们可能身处劳动市场有歧视的国家。正好相反，是广告市场的运作有歧视，因为较年轻的女性在脸书的人口结构中比较有价值，所以展示在她们面前的广告比较昂贵。因此，当你在脸书投放广告时，算法自然会把广告放在每次投放时报酬率最高的地方。如果男性和女性有相同的机率会点击科学、科技、工程与数学领域的职缺广告，那最好将广告投放在便宜的地方，也就是男性面前。
哈佛商学院教授、经济学家兼律师班．艾德曼（Ben Edelman）向我们解释，为何这个问题对雇主与脸书可能都很严重。虽然许多人认为歧视是由差别待遇引起的，也就是对男性及女性设定不同的标准，广告版位的差别可能导致律师所谓的「差别性影响」（disparate impact）。一个性别中立的程序最后会使得一些可能有理由担心受歧视的员工（对律师来说，就是「受保护类别」）变得与众不同。
就算是偶然的意外，也有人或组织要为歧视负责。有次法院发现，纽约市消防局歧视黑人与西班牙裔者申请者，它们在征选消防员的考试中加入几道强调阅读理解能力的试题。法院发现这类试题和成为消防局雇员无关，而且黑人与西班牙裔申请人在这些试题的表现往往较差。5这个案例最后以约9,900万美元和解。黑人与西班牙裔者的考试成绩较差，代表消防局应该负责，即使这种歧视并非故意。
因此，尽管你可能认为自己只是在脸书投放中性的广告，不管怎样还是可能出现差别性影响。身为雇主，你可能有责任。当然，你不想做出差别待遇，即便是隐约的歧视。脸书的一个解决办法就是提供工具给广告主避免歧视。
AI的一个挑战就是，这种无心的歧视可能在组织无人察觉下发生。深度学习与许多AI科技产生的预测，看似由一个黑箱创造出来。要观察算法或公式的预测基础，而且找出是什么原因导致这样的结果，并不可行。想知道AI是否有差别待遇，还必须观察产生的结果。男性会得到跟女性不同的结果吗？西班牙裔的结果跟其他族裔的结果不同吗？年长者或身障者的结果呢？这些不同的结果会限制他们的机会吗？
为了避免责任问题（与避免造成差别待遇），如果你发现AI无意间产生出歧视的结果，就必须修正。必须找出为什么你的AI会产生歧视性的预测。但如果AI是个黑箱，你该怎么办？
资讯工程学界有些人称这是「AI神经学」（AI neuroscience）。6一个关键工具就是假设什么会导致这种差别，提供AI不同的输入数据进行假设检定，然后比较得出的预测。蓝布瑞特与塔克就是这样做，才发现因为科学、科技、工程与数学领域的工作职缺广告显示给男性看比较便宜，所以女性比较少看到这个广告。重点是，AI的黑箱并非忽视潜在歧视的借口，或是在歧视可能关系重大的情况下避免使用AI的方法。许多证据显示，人类的歧视比机器更多。使用AI需要对审查歧视额外进行投资，然后努力减少因此产生的歧视。
算法的歧视很容易出现在操作层面，但最后可能会造成策略面与更广泛的影响。策略包含指挥组织里的人去衡量各种原本可能不明显的因素。这会使系统性风险变得更为明显，就像是算法歧视，对你的企业或许有负面影响。只让男性看到科学、科技、工程与数学领域的工作职缺广告，而女性看不到，可以使短期绩效增加（因为让男性看到广告的成本较低），但却会因为造成歧视而制造风险。风险增加的后果等到明显可见时已经太迟。因此，企业领导人的一项关键任务就是预料各种风险，并确认有适当的程序可以管理控制。
品质风险
如果你是会直接面对消费者的企业，可能会买广告，也看过那些广告的投资报酬率衡量方法。举例来说，你的公司可能发现，付钱买Google广告会导致点击率增加，甚至增加网站上的购买。也就是说，你的公司在Google买的广告愈多，那些广告收到的点击就愈多。现在试着用AI观察那些数据，并预测新的Google广告是否可能增加那个广告的点击；AI可能支持你先前观察到的正相关现象。因此，当营销人员希望买更多Google广告，他们就有投资报酬率的证据予以支持。
当然，要有广告才能产生点击。有个可能性是没有广告，消费者永远不会知道你的产品。在这种情况下，你想投放广告是因为可以产生新的销售。另一个可能性是，广告是潜在顾客最容易点击的东西，但没有广告，他们无论如何还是找得到你。因此广告虽然与更多销售有关，但也可能是虚幻的。没有广告，销售说不定还是会增加。因此，如果真的想知道广告与花在广告上的钱是否产生新的销售，就必须进行更深入的检验。
2012年，几位帮eBay工作的经济学家：托马斯．布雷克（Thomas Blake）、克里斯．诺斯克（Chris Nosko）与史蒂夫．塔德利斯（Steve Tadelis）说服eBay关闭美国三分之一的搜寻广告一个月。7那些广告用传统的统计方法衡量投资报酬率超过4,000％。如果计算的投资报酬率正确，长达一个月的实验要让eBay损失一大笔钱。
不过，他们的发现证明这样的作法有其道理。eBay投放的搜寻广告对销售几乎没有影响。投资报酬率是负数。eBay的消费者够精明，如果在Google没有看到广告，他们会点击Google的正常（或自然）搜寻的结果。反正Google会给eBay比较高的排名。不过像BMW与亚马逊等品牌也有相同的现象。广告唯一有帮助的地方似乎是吸引新的使用者到eBay。
这个故事的重点是要说明，不靠因果实验，而是靠相关性发展的AI，可能跟所有使用数据和简单统计学的人一样，容易掉入相同的陷阱。如果你想知道广告是否有效，可以观察广告是否会带来销售。不过，这不见得就是故事的全貌，因为你还要知道如果不做广告，销售会怎么样。而含有许多广告和销售数据训练的AI，无法得知少量广告会有什么结果，没有这样的数据。这种未知的已知是预测机器的关键弱点，需要人类的判断来克服。此时，唯有思虑周密的人可以了解AI是否掉入陷阱。
安全风险
软件总是有安全风险，而AI的这些风险来自于数据可能被操纵。有三种类型的数据对预测机器有影响：输入数据、训练数据与回馈数据。这三种数据都有潜在的安全风险。
输入数据风险
预测机器靠输入数据运作，它们结合这个数据和模型而产生预测。因此就像计算机界一句老话说：「把垃圾丢进去，出来的也是垃圾」，如果预测机器拥有的数据不好或模型不好，就会失去作用。黑客可能会藉由提供垃圾数据或操纵预测模型，让预测机器失灵。一种失灵就是当机。当机或许看似不好，但至少问题出现时你还知道。如果有人操纵预测机器，你可能并不知道（至少知道时已经来不及了）。
黑客有许多方式可以操纵或欺骗预测机器。华盛顿大学的研究人员显示，借着随机插入不到一秒钟的影像，就可以愚弄Google侦测影片内容的新算法，而将影片错误分类。8举例来说，你可以在一段动物园的影片中插入汽车影像，时间短到人类根本看不到，但计算机看得到，就能欺骗AI做出错误分类。在发表人必须了解发表的内容，以便完全配合广告主的环境中，这代表重大的弱点。
机器产生用来做决策的预测，而企业在觉得真正重要的情况才会有效运用机器：也就是说，我们期待预测机器确实对决策产生影响。如果没有这样的决策在其中，一开始又何必费事去预测？在这种背景下，经验丰富的坏人知道，改变预测就能调整决策。比方说，有糖尿病患者使用AI，让摄取胰岛素的效果达到最好，如果AI拥有的病患数据不正确，结果在应该增加胰岛素摄取的时候建议要降低胰岛素的摄取，病患最后还是会陷入严重危险。如果伤害一个人是某个人的目标，那么这就是有效达成目标的一个方法。
我们最有可能在预测可靠的时候有效运用预测机器。心怀叵测的人可能没有确实找出操纵预测需要哪些数据。一台机器可能根据各因素的影响性形成预测。在一大片事实中，单一谎言造成的后果很小。而在许多情况下，找出可用来操纵预测的数据很直接，可能是地点、日期和时间，但身分最重要。如果预测是针对一个人，给AI输入错误的身分会导致不好的后果。
AI科技的发展与身分验证密切相关。我们合作的一家新创公司Nymi，开发的一项技术是使用机器学习，透过心跳辨识个人身分。其他公司可能会利用视网膜扫描、脸部或指纹辨识，有的公司还可以利用智能型手机用户的走路型态特征确认身分。无论如何，一个让人乐见的科技可能出现，让我们能同时将AI个人化，又可以保护身分。
虽然个人化的预测可能会受到个人的操纵影响，但是与个人无关的预测可能也要面对与群体数量相关的操纵风险。生态学家告诉我们，同构型的族群遭到疾病威胁与毁灭的风险更大。9一个经典案例就是农业。如果一个地区或国家的所有农夫都种植相同品种的作物，短期或许会有比较好的结果。他们会选择那个作物可能是因为在那个区域生长得特别好，藉由采用最好的品种，降低个别风险。然而这种同构型却给疾病、甚至是不利的天候状况可趁之机。如果所有农夫都种植相同的品种，就很容易受同一种疾病所影响。一场灾难蔓延，就会使作物歉收的机率增加。这种单一农作物可能对个体有利，却会增加整个系统的风险。
这个概念可以普遍套用在信息科技上，尤其是预测机器。如果一个预测机器系统证明自己特别有用，你可能会将那套系统应用在整个组织，甚至全世界。所有汽车可能采用看似最安全的预测机器，这可以降低个别的风险，而且增加安全性；但是，这也使大规模失灵的机率增加，无论是否有意。如果所有汽车都有同样的预测算法，攻击者或许就能利用算法，以某种方式操纵数据或模型，让所有汽车同时失去作用。就像农业一样，同构型会使个别的结果得到改善，却是以整个系统失灵的机率倍增为代价。
对于系统全面失灵的问题，有个看似简单的解决办法，就是鼓励利用多样性的预测机器。这会使安全风险降低，但代价就是表现也会变差。或许也会因为缺乏标准化，使偶发、小规模失灵的风险增加。就像生物多样性一样，预测机器的多样性牵涉到个体结果与系统结果之间的取舍。
许多系统全面失灵的情境，牵涉到同时对数个预测机器发动攻击。举例来说，攻击一辆自动驾驶车代表一个安全风险；同时攻击所有自动驾驶车，代表的是全国性的安全威胁。
即使存在标准一致的预测机器，另一个防范大规模同时攻击的方法，就是不让装置连上云端。10我们已经讨论过，在相关背景里加快学习与保护消费者隐私的目的下，在机器里预测而不上传云端的好处（不过要付出整体预测没有更准确的代价）。
在机器里预测有另一个优点。如果装置没有连上云端，要同时受到攻击就很困难。11虽然训练预测机器可能在云端或其他地方发生，但一旦机器受过训练，就有可能直接在装置上做预测，而不把信息送回云端。
训练数据风险
另一个风险是有人可以查询你的预测机器。竞争对手或许能够对你的算法进行逆向工程，或起码让他们的预测机器用你的算法输出结果当成训练数据。或许最为广为人知的例子是Google反垃圾信件团队设下的陷阱。它为各式各样的荒谬搜寻捏造查询结果，例如其实并不存在的「hiybbprqag」，让Google工程师从家中的计算机查询那些字。具体地说，是告诉工程师要用微软的网络浏览器Internet Explorer工具栏搜寻。几个星期后，那个团队查询微软的Bing搜索引擎，果然，Google给「hiybbprqag」之类搜寻的捏造结果出现在Bing的搜寻结果中。Google团队证明微软使用自己的工具栏去复制Google的搜索引擎。12
当时，对于微软的作为是否可以接受有许多讨论。13事实上，微软是以Google工具栏边用边学，为自己的Bing搜索引擎开发更好的算法。使用者大多是搜寻Google，然后点击那些结果。因此，如果一个罕见的搜寻名词只能在Google找到（例如「hiybbprqag」），而且使用的次数够多（正是Google工程师做的事），微软的机器最后就能学会。有意思的是，微软一直没有做、但明显可以做的，就是学习Google的搜寻名词如何转换成点击，以便彻底模仿Google的搜索引擎。14
这里的策略考虑是，当你有AI（如Google的搜索引擎）时，如果竞争对手可以观察到输入的数据（例如搜寻的问题），以及列出的结果（例如网站列表），那竞争对手就有原料可以使用自己的AI进行监督式学习，并重建算法。如果要因此征用Google的搜索引擎是非常困难的任务，但原则上是相当有可能发生的事。
2016年，资讯工程学者显示，有些深度学习算法对这种模仿尤其没有防范能力。15他们在一些重要的机器学习平台（包括亚马逊机器学习﹝Amazon Machine Learning﹞）测试这个可能性，并证明只用相对少数的查询（650至4,000），就能对那些模型进行逆向工程，达到非常近似、有时还很完美的程度。这正是运用机器学习算法所造成的弱点。
模仿可能很容易。在完成所有训练AI的工作之后，AI的运作实际上就呈现在这个世界上，而且可能被复制。但更让人担忧的是，将这种知识据为己有可能导致心怀不轨的人更容易操纵预测与学习过程。一旦攻击者了解机器，机器就更容易受到攻击。
从积极面来看，这种攻击会留下痕迹。必须经过多次查询，预测机器才能够了解机器。不寻常的查询量或不寻常的多样性查询，应该会引发警讯。一旦出现警讯，保护预测机器就比较容易了。不过这并不轻松，但至少你知道攻击要来了，以及攻击者知道些什么。然后你就能保护机器，不论是阻挡攻击者，或（如果无法阻挡的话）在使事情变糟时，准备好一个备用方案。
回馈数据风险
你的预测机器会与企业之外的其他人或机器互动，这会创造不同的风险：心怀不轨的人可能会在AI输入扭曲学习过程的数据。这不只是操纵单一预测，而是教机器以系统性的方式做不正确的预测。
最近一个受人瞩目的例子发生在2016年3月，当时微软推出AI推特聊天机器人Tay。微软的构想很务实：让Tay在推特上与人互动，并判定如何回应最好。微软的用意就是明确的学习「轻松随意的对话」。16至少从理论上来看是以合理的方式让AI暴露在需要快速学习的经验之中。Tay一开始就跟鹦鹉差不多，但目标却更为远大。
然而网络并非全是平和的环境。推出后不久，大家开始测试Tay的极限。昵称Baron的人问Tay：「你支持种族灭绝吗？」Tay的回答是：「我支持。」没多久，Tay似乎成了种族主义者、仇恨女性者、纳粹同情者。后来微软撤下这项实验。17 Tay究竟如何演变得如此快速还不完全清楚。最有可能的是，与推特使用者的互动，教会Tay这些行为。到最后，这项实验证明，在真实世界中要破坏机器学习是多么容易的事。
其中的深意很清楚。你的竞争对手或恶意攻击者可能故意尝试训练你的预测机器，做出不好的预测。就像Tay用数据来训练预测机器。而且在自然环境下训练的预测机器，可能遭人以恶意、虚伪的策略来利用。
面对风险
预测机器会带来风险。所有投资AI的公司都会面临这些风险，而要彻底消除风险是不可能的。我们没有轻松的解决办法。你现在知道可以预先考虑这些风险，要知道你的预测在不同的群众之间有什么不同。问问自己，你的预测是否反映潜在的因果关系，以及是否真有表面上看来那么好。在系统的整体风险与每件事情都有些改善的效益间取得平衡，并留意可能有心怀不轨的人借着查询你的预测机器，企图复制或加以破坏。
本章重点
* AI会带许多类型的风险。我们在这里总结六个最重要的类型。
1. AI的预测可能会导致歧视，就算这种歧视是无心的，你还是有责任。
2. 当数据稀少时，AI起不了作用，这就产生质量风险，尤其是「未知的已知」类型的数据，这时候虽然会提供很有把握的预测，但其实是错的。
3. 不正确的输入数据可能会欺骗预测机器，使得使用者无法防范黑客的攻击。
4. 就像生物多样性，预测机器的多样性牵涉到个体结果与系统层次结果的取舍。多样性较少或许有利于个体层次的表现，但会加大规模失灵的风险。
5. 人人都可以查询你的预测机器，这使你暴露在被盗取知识产权，以及被能找出弱点的攻击者攻击的风险。
6. 回馈数据可以操纵，让预测机器学习毁灭性的行为。
PART V
社会
