人类与机器的分工
每次修改电子文件时，都可以留下记录。对大部分人来说，这不过就是一个用来追踪修订的方法，但对隆恩．格罗兹曼（Ron Glozman）来说，这是在数据中使用AI来预测变化的机会。2015年，格罗兹曼成立新创公司Chisel，公司第一个产品就是预测法律文件中哪些信息是机密。这项产品对法律事务所很有价值，因为在他们必须公开文件时，要将机密信息涂黑或删除。一直以来，他们都是手动删除，由人类阅读文件，并将机密信息涂黑。格罗兹曼的方法可望节省时间与精力。
用机器来编辑虽然可行，但并不完美。有时候机器会误删应该揭露的信息，或是没有挑出机密的部分。为了达到法定标准，必须有人帮忙。在测试阶段时，Chisel的机器建议哪些该编辑，然后由人类拒绝或接受那些建议。事实上，共同合作意味着可以节省大量的时间，同时使错误率低于手动进行的错误率。这种人类与机器的分工有效，是因为可以克服人类在速度与专注力上的弱点，以及机器在解释文字上的弱点。
人类与机器都有缺点。不知道缺点在哪里，就无法评估机器和人类应该怎么合作来产生预测。为什么？因为一个可以追溯至18世纪亚当斯密（Adam Smith）对分工的经济思维，这个概念是根据相对长处而分配角色，而这里是指人类与机器在产生预测上的分工。了解分工，与判断预测在哪些层面由人类或机器执行最好有关。这可以让我们找出他们各自的角色。
人类不擅长的预测
有个古老的心理学实验是给受试者一连串随机的X和O，并请他们预测接下来会出现的是X还是O。例如，题目可能是这样：
OX XOXOXOXOX XOOX XOXOX X XOX X
以这样的排列顺序来看，多数人都知道X比O多一点，如果数一下，就知道X占60％，O占40％，因此大多数的人会猜接下来是X，除非要插入一些O来达到平衡。不过，如果你想要让正确预测的机率达到最大，一定会选X，这样你就有60％的机率是对的。如果你和大多数参与者一样，随意按照60╱40的机率选择，你的预测最后会有52％的机率是对的，仅略高于没有费心评估X与O相对的出现频率，随意从中猜测的机率（50╱50）。1
这类实验告诉我们的是，人类评估机率的能力就算不差，在这样的状况下，还是一个拙劣的统计学家。预测机器绝不会犯这样的错误。但或许人类没有太认真看待这类任务，因为他们或许觉得这像在玩游戏。如果结果明显不像在玩游戏，他们会犯类似的错吗？
心理学家丹尼尔．康纳曼（Daniel Kahneman）与阿莫斯．特佛斯基（Amos Tversky）的诸多实验证明，这个答案明显是肯定的。2当他们请大家仔细考虑两家医院，一家每天接生45个新生儿，另一家每天接生15个，而且问哪一家医院60％以上的出生婴儿是男婴的天数比较多，很少人会给出正确答案。正确答案是规模较小的医院，因为事件的数量愈大（以这个例子来说是出生人数），每天的结果就愈有可能接近平均值（以这个例子来说，就是50％）。要知道其中的原理，可以想象是在丢硬币。丢5次硬币比丢50次更有机会每次都丢出人头。因此，正因为出生人数较少，规模较小的医院更有可能出现偏离平均值的极端结果。
有关这类经验法则与偏误的著作不少。3许多人发现很难根据周全的统计学原理做出预测，这正是为什么要引进专家的原因。可惜的是，那些专家在做决策时也展现出同样的统计偏误与困难。这些受偏误困扰的领域遍及医学、法律、体育与商业界。特佛斯基与哈佛医学院的研究人员向医师提出两种肺癌的治疗方法：放射治疗或外科手术。以5年存活率来看，建议进行外科手术。不过外科手术的风险比放射治疗高，而有关外科手术短期存活率的信息，是以不同的方式呈现给两组参与者。当被告知「一个月存活率是90％」时，84％的医师选择外科手术；但被告知「第一个月的死亡率为10％」时，比例就降至50％。这两种说法说的是同样的事，但研究人员表达信息的方法导致决策有重大改变。机器并不会出现这样的结果。
康纳曼找出许多专家面临复杂信息无法做出良好预测的情况。经验丰富的放射科医师在评估X光片时，有五分之一的机率会自相矛盾。会计师、病理科医师、心理学家，以及经理人都呈现类似的矛盾现象。康纳曼做出结论，如果有办法用公式取代人类做预测，应该要认真考虑采用公式。
拙劣的专家预测是麦可．路易斯（Michael Lewis）在《魔球》（Moneyball）书中的核心重点。4奥克兰运动家棒球队在三位最佳球员离开后面临难题，球队的财务捉襟见肘，无法补充人手。球队总经理比利．比恩（Billy Beane，电影里由布莱德．彼特﹝Brad Pitt﹞饰演）采用比尔．詹姆斯（Bill James）开发的统计系统来预测球员表现。有了这个「赛伯计量学」（sabermetrics）系统，比恩和分析师否决球探的建议，自己挑选球员组成球队。尽管预算拮据，运动家队却胜过对手，一路打进2002年的世界大赛。新方法的核心是抛开先前认为重要的指标（例如盗垒与打击率），转向其他指标（例如上垒率及长打率），还要摆脱球探有时显得诡异的经验法则。就像电影中一位球探说的：「他有个长得很丑的女友，这代表他没有自信。」根据那样的决策算法，以数据为基础的预测在棒球界往往可以超越人类预测也就不足为奇了。
受到重视的新计量方法，计算的是球员对球队整体表现的贡献。新的预测机器让奥克兰运动家队得以找出在传统方法评估下相对不为人知的球员，因此他们的低价年薪相较于对球队整体表现产生的影响，显得更有价值。如果没有预测，这些人只是其他球队低估的潜力球员，而运动家队利用的就是这些偏误。5
纵然是经验丰富又权威的专家也不例外，最能清楚显示人类预测难题的，或许是来自一份针对美国法官做出同意交保决定的研究。6美国每年有1000万这样的决策，而一个人能否交保，对家庭、工作与其他个人问题关系重大，更别说政府的羁押成本。法官的决定必须根据被告交保后是否会潜逃，或是犯下其他罪行，而不是根据最终是否可能被定罪。决定的标准清楚且定义明确。
这份研究采用机器学习来开发出算法，预测特定被告交保期间再次犯罪或潜逃的机率。训练数据相当广泛，包括2008年至2013年间，纽约市获准交保的75万人。信息有先前的犯罪记录档案、被控告的罪行，以及人口结构信息。
机器做的预测比人类法官好。举例来说，有1％的被告被机器分类为有最高的风险，预测有62％在交保期间会犯罪。然而，（无法取得机器预测的）人类法官却选择释放其中几乎一半的被告。机器的预测相当准确，机器辨认为高风险的被告，有63％的确在交保期间犯罪，有超过一半在下次开庭时没有出现。机器辨认为高风险的人，有5％在交保期间犯下性侵或谋杀罪。
按照机器的建议，法官可以释放同样数量的被告，并让交保被告的犯罪机率减少四分之三。或者他们可以维持相同的犯罪率，但是让额外多羁押的被告只剩一半。7
这是怎么回事？为什么法官的评估和机器预测有天壤之别？一个可能性是，法官使用的信息是算法无法取得的，例如被告在法院上的外貌与行为举止。这些信息或许有用，或许可能会骗人。有鉴于交保被告的高犯罪率，推断出会骗人的可能性更高并非不合理。法官的预测其实相当糟糕。这项研究提供充分的额外证据，支持这个令人遗憾的结论。
这证明人类在这种情况下进行预测实在很困难，因为可以用来解释犯罪率的因素十分复杂。预测机器比人类更擅长将不同指标之间复杂的相互影响纳入考虑。因此，尽管你或许相信过去的犯罪记录可能意味着被告潜逃的风险更大，但机器可能发现，那个情况只有在被告失业一段时间才会发生。换句话说，各因素间的相互影响效果或许更重要，而且随着这类相互影响的范围增加，人类形成准确预测的能力会日益减少。
这些偏误不但出现在医学、棒球和法律，也是专业工作中常见的特征。经济学家发现，经理人和劳工经常进行预测，而且对预测充满信心，但他们却没有察觉自己的表现很差。在一项对15家低技术服务公司的研究中，米契尔．霍夫曼（Mitchell Hoffman）等人发现，当那些公司采用客观且可验证的测试搭配正常面试时，相较于只根据面试来做聘用决定，员工的任职期间会增加15％。8而对于这些职务，经理人接受的指令是尽量拉长员工的任职期间。
测试本身相当广泛，包括认知能力与工作适任指标。此外，当经理人处理聘用的权力受到限制，避免经理人因为测试成绩不理想而否决测试分数时，聘用员工的任职期间甚至会更长，离职率也会降低。因此，即使接受的指令是尽可能拉长任职期间、即使经理人的招聘经验丰富，而且还有相当准确的机器预测，经理人做的预测依然拙劣。
机器不擅长的预测
美国前国防部长唐纳德．伦斯斐（Donald Rumsfeld）曾经说过：
有些事是已知的已知（known knowns），这些是我们知道自己知道的事；我们还知道有些已知的未知（known unknowns），也就是说，我们知道有些事情自己并不知道；但还有未知的未知（unknown unknowns），我们不知道自己不知道的事。如果要弄清楚我们国家与其他自由国家的历史，后者往往是最难的。9
这提供一个有用的架构来理解预测机器运作不稳定的状况。首先，已知的已知是拥有丰富的数据，所以知道可以做出好的预测；其次，已知的未知是数据太少，所以知道难以做出预测；第三，未知的未知是过去的经验未曾捕捉到的事件，或者出现在数据当中，但仍算合理，因此预测有困难，只不过我们可能没有发现；最后，还有一个伦斯斐没有提到的类别，未知的已知（unknown knowns），就是有个过去显得强烈的关联，是某种未知或未观察到的因素使得结果随着时间而变化，并让我们以为自己能做的预测变得不可靠。难以在众所周知的统计学限制下进行预测的地方，预测机器并无法准确预测。
已知的已知
有丰富的数据，机器预测就可以顺利运作。机器知道状况，可以提供良好的预测，而且我们知道这是良好的预测。这就是目前这一代机器智慧最有功效的地方。诈骗侦测、医疗诊断、棒球选手筛选与交保决定全都落在这个类别。
已知的未知
就算是现在（以及不久的将来）最好的预测模式，也需要大量的数据，这意味着我们知道在没有太多数据的情况下，我们的预测相对较糟。我们知道有些事自己不知道，这就是已知的未知。
没有太多数据可能是因为有些事件很罕见，所以要预测有难度。美国总统大选每四年才一次，而候选人和政治环境会改变。预测几年后的总统选举结果几乎是不可能的事。2016年的选举显示，即便是在几天前预测选举结果、或是选举当天预测，都很困难；大地震十分罕见（幸好是这样），所以要预测地震在什么时候、什么地方发生，以及规模多大，显然至今仍难以做到。（是的，地震学家正在努力。）10
相对于机器，人类有时候极擅长以稀少的数据做预测。我们可以在看过一、两次就认出一张脸，即便是从不同的角度看到；就算外表有许多变化，我们还是可以在40年后认出四年级的同班同学；我们从很小的年纪就能猜出球的轨迹（即使身体没有协调到可以接到球）；我们也善于模拟，遇到新的状况时，可以找出其他相近的情况，在新环境中派上用场。举例来说，科学家数十年来一直将原子想象为迷你版的太阳系，至今许多学校仍然这样教导学生。11
虽然资讯工程学家正努力减少机器的数据需求，开发如「单次学习」（one-shot learning）等方法，让机器学会只要看过一次就能成功预测一项物体，但目前的预测机器还是无法胜任。12因为有已知的未知，也因为人类更善于在面对已知的未知时做出决定，管理机器的人知道可能会出现这种状况，所以可以将机器的程序设定为在碰到这种状况时，请求人类帮助。
未知的未知
要做预测，得有人告诉机器什么东西值得预测。如果是从前不曾发生过的事，机器就无法预测（至少得要有人类的谨慎判断，提供有用的模拟，让机器利用别的信息预测）。
纳西姆．尼可拉斯．塔雷伯（Nassim Nicholas Taleb）在《黑天鹅效应》（The Black Swan）中强调未知的未知。13他强调我们无法从过去的数据预测真正的新事件。这本书的书名提到欧洲人在澳洲发现新品种的天鹅。在18世纪的欧洲人心中，天鹅是白的。直到抵达澳洲之后，他们才看到全新且出乎意料的东西：黑天鹅。他们从未见过黑天鹅，因此没有信息可以预测这种天鹅的存在。14塔雷伯认为，其他未知的未知出现会产生重要的后果，这不像黑天鹅出现对欧洲或澳洲的社会走向没有什么意义重大的影响。
举例来说，1990年代是音乐产业的美好时光。15 CD销售在成长，营收也稳定增加，未来一片光明。然后到了1999年，18岁的尚恩．芬宁（Shawn Fanning）发明了Napster，这个程序让人可以在网络免费分享音乐档案。很快的，众人下载了几百万笔档案，而音乐产业的营收开始衰退。整个产业至今仍一蹶不振。
芬宁是个未知的未知。预测机器无法预测他会出现。的确，就像塔雷伯等人强调的，人类还是相当不擅长去预测未知的未知。面对未知的未知，人类和机器的预测都无效。
未知的已知
预测机器最大的弱点或许是有时会提供错误的答案，却信心满满地以为那是对的。正如前面所述，在已知的未知下，人类可以理解预测的不准确性。预测有个信心范围，显示出预测的不精准。以未知的未知来说，人类认为自己没有任何答案。相反地，对于未知的已知，预测机器似乎可以提供非常精准的答案，只是答案可能错得离谱。
这是怎么一回事？因为数据虽然提供信息做决策，但数据可能来自决策。如果机器不了解产生数据的决策过程，做出的预测就可能无效。举例来说，假设你有意预测自己的组织是否会采用预测机器，你有个好的开始，因为你后来会发现，阅读本书几乎就是经理人会采用预测机器的绝佳预测变量。
为什么？至少有三个合理的理由。第一也是最直接的理由，本书的见解会证明预测机器大有用处，所以阅读这本书会促使你了解预测机器，因此会将这些工具实际导入你的事业。
第二个理由称为「倒果为因」（reverse causality）。你读这本书是因为你已经使用预测机器，或者有明确计划在不久的将来使用。这本书并未导致这个科技被采用，相反的，是因为要采用（或许是即将采用）这个科技，促使你阅读这本书。
第三个理由称为「遗漏变数」（omitted variables）。你对科技趋势与管理议题感兴趣，因此，你决定阅读这本书。你在工作中也使用如预测机器的新科技。在这种情况下，你对科技与管理的潜在偏好，导致出现看书与使用预测机器这两种行为。
有时候这些区别无关紧要。如果你关心的只是想知道看这本书的人是否采用预测机器，那何者为因、何者为果就不重要。如果你看到有人在阅读这本书，你就可以做出一个有根据的预测，认为这个人会在工作中使用预测机器。
有时候这种区别很重要。如果你考虑要把这本书推荐给朋友，如果这本书能让你在管理预测机器上成为更优秀的经理人，你就会推荐给朋友。你想知道些什么？那你就会从读这本书开始。之后你想一窥未来，并观察自己在管理AI方面的表现如何。假设你清楚地预见未来。你在管理预测机器的表现上十分出色，让预测机器成为组织的核心，而你和组织的成功超出你最疯狂的梦想。那你可以说是读了这本书才成功的吗？
不能。
想知道阅读这本书是否有影响，你还需要知道如果没有读这本书会发生什么事。你没有那样的资料。你必须观察经济学家与统计学家所说的「反事实」（counterfactual）：如果采取不同的行动会发生什么事。判定一种行动是否会导致一种结果，需要两个预测：第一，采取行动之后会发生什么结果，以及第二，采取不一样的行动会发生什么结果，但这不可能做到，你永远不会有不采取行动的数据。16
这是机器预测一再出现的问题。西洋棋大师盖瑞．卡斯珀洛夫（Garry Kasparov）在《深度思考》（Deep Thinking）中讨论到早期西洋棋机器学习算法的相关问题：
1980年代初期，米契（Michie）和几个同事写了一个以数据为基础的实验性西洋棋机器学习程序，结果颇为有趣。他们给机器投入数十万个出自大师级比赛的棋局，希望机器能够了解哪些棋局能发挥作用，哪些不能。最初似乎达到预期的效果。机器对棋局的评估比一般程序更准确。等到他们真的让机器下棋比赛，问题来了。程序走自己的棋，发动攻势，而且立刻牺牲皇后！只走了几步棋就输了，放弃了皇后却什么都没换到。为什么会这样？这个嘛，当西洋棋大师牺牲皇后时，几乎都是精彩的决定性一击。对于靠着塞进大师棋局当训练的机器来说，放弃皇后明明就是成功的关键！17
机器将因果顺序弄反了，不明白大师只有在能创造清楚快捷方式达到胜利时，才会牺牲皇后，机器只学到在牺牲皇后后不久就赢了，于是牺牲皇后就被误会是制胜之道。虽然在机器学习里可以解决这个问题，但是倒果为因依然是预测机器的一大挑战。
这个问题在商业界中也屡见不鲜。在许多产业中，低价与低销量有关。就以饭店业为例，旅游旺季以外的时间价格低，需求最高且饭店客满时的价格较高。根据这样的数据，缺乏经验的预测可能会建议提高价格来卖出更多房间。至少有受过一些经济学训练的人就知道，价格变化可能是高需求引起的，而非价格引发需求变化，所以提高价格不太可能会增加销售。所以人类可以和机器合作，找出正确的数据（例如个人根据价格选择饭店房间）和适当的模型（考虑季节因素与其他供需因素）来改善对不同价格的销售预测。对机器来说，这是未知的已知，但了解价格如何决定的人类来说，就会将此视为已知的未知，甚至只要能够正确建立订价模型，说不定算得上是已知的已知。
这个未知的已知与因果推论问题，在面对其他策略行为时甚至更加重要。Google的搜寻结果来自一个秘密的算法。这个算法大致由预测机器决定，由预测机器预测哪些连结可能会被点击。对网站管理员来说，排序愈高代表网站访客愈多与销售愈多。大部分网站管理员深谙这一点，并使搜索引擎达到最佳状态：他们调整网站，努力改善在Google搜寻结果的排序。这些调整通常是设法操纵算法的特点，因此久而久之，搜索引擎便充满垃圾讯息，并非搜寻者真正想要的连结，而是网站管理员操纵算法古怪特点的结果。
在预测一般人会点击什么时，预测机器的短期表现很好。但经过数周或数月之后，不少网站管理员找到操纵系统的方法，因此Google就得大幅改变预测模式。会出现搜索引擎与垃圾讯息发送者的来回交锋，是因为预测机器可以被操纵。虽然Google尝试创造一个系统来让这种操纵无利可图，但也体认到完全仰赖预测机器的缺点，于是在面对这类垃圾讯息时，会使用人力判断，来让机器重新优化。18 Instagram也时时在对抗垃圾讯息的发送者，它定期更新使用的算法，以便拦截垃圾讯息与令人反感的素材。19一般来说，一旦人类发现这类问题，那就不再是未知的已知了。他们有可能找到解决方法来产生良好的预测，让问题变成需要人类与机器合作的已知的已知，也可能找不到解决办法，于是变成已知的未知。
机器预测的威力极为强大，但也有局限。它无法在有限的数据下有好的表现。一些受过完善训练的人可以看出这些局限，无论这些局限是因为事件罕见还是因果推论问题，他们还是可以改善机器预测。要做到这些，人类必须了解机器。
人机合作可以让预测变得更好
有时候，人类与机器的组合可以截长补短，产生最好的预测。2016年一个由哈佛与麻省理工学院组成的AI研究团队赢得卡梅隆挑战赛（Camelyon Grand Challenge），这项比赛催生出由计算机根据切片检查，侦测转移性乳癌。这个团队获胜的深度学习算法正确率有92.5％，而人类病理科医师的成绩是96.6％。虽然这似乎是人类的胜利，但研究人员更进一步结合算法与病理科医师的预测，结果准确率达99.5％。20也就是说，人类3.4％的错误率降低至0.5％。错误减少了85％。
这是典型的分工，但完全不像亚当斯密的描述，相反的，这是经济学家暨计算机先驱查尔斯．巴贝奇早在19世纪描述的认知分工：「分工的效果，包括在机械与心理历程方面，就是让我们得以取得所需要的技能与知识，并准确应用。」21
人类与机器擅长的预测层面不同。人类病理科医师在判断有癌症时通常是对的。人类说有癌症却犯错的情况确实罕见。相反的，AI在判断没有癌症时却准确得多。人类与机器犯不同类型的错。确认这两种不同的能力，结合人类与机器的预测来克服这些弱点，这样的组合可以大幅减少错误率。
这样的合作如何转换到商业环境？机器预测可以透过两大方向提高人类预测的成效。第一是提供最初的预测，结合人类的评估。第二是在得到事实之后提供第二意见，或是加以监督。这样一来，老板可以确保众人努力工作并尽心尽力做预测。少了这样的监督，人类可能不够努力。这个理论是人类必须回答他们的预测为何与客观的算法不同，唯有额外付出心力确定自己有足够的把握，才能否决机器的预测。
检验这种交互作用的一个绝佳场所，就是预测贷款申请人的信用程度。丹尼尔．帕拉维希尼（Daniel Paravisini）与安托奈．萧尔（Antoinette Schoar）分析哥伦比亚一家银行引进新信用评分系统后，对小型企业贷款申请者的评估。22计算机化的评分系统取得申请者的各种信息，汇集成单一衡量标准来预测风险。接着银行员工组成的放款委员会，利用评分和他们的流程来核准放款、拒绝放款，或是交由区域经理决定是否放款。
利用一个随机对照试验来判断究竟要在决定之前、还是之后引进评分，而不是由管理阶层判断，这样的话，评分就是一个用科学方法评估对决策影响的好方法。一组员工只在审核前拿到分数，这就类似第一种与机器合作的方式，由机器的预测提供讯息给人类做决定。另一组员工则是在做出初步评估之后才拿到分数，这就类似第二种与机器合作的方式，机器的预测协助监督人类做决定的质量。第一种和第二种作法的差别在于，评分是否提供信息给人类决策者。
在两种情况下，评分都有帮助，只不过事先提供分数的改善最多。这个时候，委员会做出更好的决定，也比较少寻求经理协助。藉由提供预测的信息，低阶经理因此获得权力。另一种情况是委员会在事后取得分数，这个情况的决策会出现改善是因为预测协助高阶经理监督委员会，这增加委员会确保决策质量的诱因。
人类和预测机器的组合要产生更好的预测，需要了解人类与机器的局限。以贷款申请委员会的例子来说，人类可能做出有偏见的预测，或者偷懒卸责。机器则可能缺乏重要信息。尽管我们常在人类合作时强调团队精神与互助合作，但我们可能没把人类与机器的组合视为团队。人类要让机器预测变得更好，重要的是要了解人类与机器的弱点，并以截长补短的方式结合，反之亦然。
例外预测
预测机器的一个主要优势就是，它们能处理人类无法处理的规模。劣势则是遇到没有太多历史数据的罕见案例时，就很难做出预测。综合起来，这代表许多人类与机器的合作会采取「例外预测」（prediction by exception）的形式。
正如我们讨论过的，预测机器会在数据充足的时候学习，而这是出现在处理比较例行性或常见的情境。这种时候，预测机器的运作不需要人类伙伴花力气去留意。相反的，当例外出现，也就是出现非例行性的情境时，机器可以传达给人类，然后由人类投入更多努力去改善预测，并查核预测。这样的「例外预测」正是哥伦比亚的银行放款委员会的实际情形。
例外预测的概念已有先例，那就是「例外管理」（management by exception）的管理方法。在提出预测时，人类在许多方面都是预测机器的监督者。经理人有许多棘手的任务，如果想要节省人力时间，人机合作关系就是要让人类只在真正有需要的时候才投注精力。而只在罕见的情况下才有必要投入，这就意味着一个人可以在例行预测中轻松善用预测机器的优势。
例外预测是让Chisel最初的产品得以发挥作用的必要条件。Chisel的第一个产品在本章一开始讨论过，就是在各种文件中找出并删除机密信息。这种劳心费力的程序出现在许多法律制度上，文件可能需要透露给其他方或公开揭露，只不过某些信息需要隐藏。
Chisel的编辑器靠着例外预测进行第一关的工作。23尤其是使用者可以将编辑器设定为严格编辑或宽松编辑。严格编辑对于需要隐藏讯息的门坎，会比宽松编辑的门坎还高。举例来说，如果你担心遗漏的机密信息没有涂黑，那就选择严格编辑。但如果你担心透露得太少，那就选择宽松编辑。Chisel提供一个很容易使用的界面，让人检查涂黑的地方，再决定要接受或拒绝这些编辑。换句话说，每次编辑都是建议，而非最后决定，最终决定权还是在人类手上。
Chisel的产品结合人类与机器，克服两者的弱点。机器工作的速度比人类快，而且各种文件皆提供一致的衡量标准。人类可以在机器没有足够数据做出良好预测时加以干预。
本章重点
* 在一些情况下，就算是专业高手也会做出拙劣的预测。人类通常过度重视明显的信息，而没有考虑到统计特性。各专业的许多科学研究都记录这些缺点。这可以从电影《魔球》里提到的现象来说明。
* 在预测的背景下，机器和人类各有不同的长处与弱点。随着预测机器持续改进，企业必须相应的调整人类与机器的分工。预测机器比人类更善于将不同指标复杂的相互作用考虑在内，特别是在数据充足的时候。随着这类相互作用的面向增加，人类产生准确预测的能力会渐渐减弱，特别在与机器相比的情况下。
* 不过，如果说了解数据产生的过程可以给予预测优势，人类的表现通常会比机器来得好，特别是在数据不多的情况下。我们描述一种分类预测情境的方法（也就是已知的已知、已知的未知、未知的已知与未知的未知），有助于预先考虑适当的分工。
* 预测机器可以规模化。每次预测的单位成本会随着频率增加而下跌。人类的预测无法以同样的方式规模化。不过，人类的认知模式可以了解世界运作，因此可以根据少量数据做预测。所以我们预期人类的例外预测会兴起，机器则产生大部分的预测。因为机器是以例行、固定的数据为基础，但在出现罕见事件时，机器并无法有把握地产生预测，于是需要呼叫人类协助，由人类提供例外预测。
PART II
决策
