为什么说这是人工智能？
1956年，一群学者齐聚新罕布什尔州的达特茅斯学院（Dartmouth College），擘划人工智能的研究路线。他们想知道计算机能否藉由程序来进行思考，像是玩游戏、证明数学原理，或做些这类的事。他们还仔细思考计算机要用什么语言和知识才能描述事物。他们的努力包含企图让计算机选出最好的选项。那些研究人员乐观开待AI可能的发展。在向洛克斐勒基金会（Rockefeller Foundation）争取经费时，他们写道：
我们会努力找出如何让机器使用语言，形成抽象的概念与思想，解决各种现在留给人类的问题，并自行改进。我们认为，如果谨慎挑选一群科学家花一个夏天共同合作，至少会有一个以上的问题获得重大进展。1
这个议程后来证明梦想大于实际。撇开其他的挑战，1950年代的计算机速度根本不足以做到学者们的预想。
在最初的研究声明之后，AI在翻译上出现一些早期的进展，但进度缓慢。在极为具体明确的环境中让AI运作的作法（例如培养人工治疗师）未能全面推广。1980年代初期迎来期望，工程师可以谨慎周密地写出专家系统的程序，在医疗诊断等需要技能的领域重复执行，但开发成本高昂又笨重，无法解决无数的例外和可能性，导致后来有名的「AI寒冬」。
不过，寒冬似乎结束了。更多数据、更好的模型，以及性能更强的计算机，使得近年来机器学习的进展得以改善预测能力。搜集和储存大数据的进步也提供新的机器学习算法原料。在更适合的处理器发明下，新的机器学习模式明显比以往的统计方法更有弹性，也产生更好的预测结果，好到有些人又重新称资讯工程这个分支为「人工智能」。
预测顾客流失率
更好的数据、模型和计算机是使预测进步的核心。为了了解它们的价值，我们举个存在已久的预测问题：预测营销人员所说的「顾客流失率」（customer churn）。对许多企业来说，获取顾客的代价所费不赀，因此流失顾客的代价高昂。一旦争取到顾客，企业可以借着降低流失率来从那些获取顾客的成本中受益。在保险、金融服务与电信业等服务业，顾客维护或许是最重要的营销活动。降低顾客流失率的第一步就是找出最可能流失的顾客。各个公司都可以利用预测科技做到。
一直以来，预测顾客流失率的核心方法是一种统计技术，称为「回归分析」。研究重心就集中在改善回归分析技术。研究人员在学术期刊及实务中提出几百种不同的回归方法，并加以测试。
回归分析是做什么用的？它是根据过去情况的平均值找出预测值。举例来说，如果你只看上一周每天的天气情况来判断明天是否会下雨，最理想的推测大概是平均值。如果前7天有2天下雨，你大概会预测明天下雨的机率是七分之二左右，或是说29％。我们对预测的认识，大多就是借着建立可纳入更多背景数据的模型，让我们计算出的平均值更好。
我们的作法是利用所谓的「条件平均」。举例来说，如果你住在北加州，对过去的认识大概就是下雨的机率会视季节而定：夏天低，而且冬天高。如果你观察冬天在任何一天下雨的机率是25％，夏天则是5％，大概不会评估明天下雨的机率是平均值15％。为什么？因为你知道明天不是冬天，就是夏天，所以你会根据条件来调整自己的评估。
按照季节调整只是使用条件平均的一种方法（不过在零售贸易产业是普遍作法）。我们可以根据一天的时间、污染程度、云量、海洋温度，或其他所有能得到的信息来计算条件平均。
甚至我们可以同时考虑多种条件：如果今天下雨、现在是冬天、西方200英里处在下雨、南方100英里处是晴天、地面是湿的、北冰洋的温度很低、吹着每小时15英里的西南风，那么明天会下雨吗？不过，这很快就会变得难以控制。光是计算这7种信息条件的平均值，就会产生128种组合。增加更多类型的信息，产生的组合就会以指数的方式成长。
在机器学习开发以前，多变量回归分析（multivariate regression）提供一种有效率的方法，在不需要计算数十、数百或数千个条件平均的情况下考虑多种条件。回归分析是取得数据，并努力找出能将预测错误降到最低的结果，使所谓的「适合度」（goodness of fit）达到最大。
幸好这个名词的数学意义比字面意义更明确。回归分析的平均值会使预测错误达到最低，而且让大误差的影响比小误差的影响来得大。这是个强大的方法，特别是在数据相对较少、而且可以清楚判断哪些条件会使预测有效的时候。以有线电视的顾客流失率来说，可能就是顾客看电视的频率；如果他们订阅有线电视却不使用，就可能会停止订阅。
此外，回归模型试图要产生没有偏差的结果，所以如果有足够的预测，平均下来就会完全正确。虽然我们比较喜欢没有偏差的预测，而不是有偏差的预测（例如系统性高估或低估价值），但是没有偏差的预测还是不完美。我们可以用个统计学的老笑话来说明这点：
一位物理学家、一位工程师，和一位统计学家去打猎。他们穿过树林时在空地上发现一只鹿。
物理学家计算狩猎目标的距离、子弹的速度与下坠角度，调整后开枪，结果射偏到鹿的左边5英尺。
工程师一脸沮丧。「你忘了计算到风了。让我来。」工程师舔舔手指判断风速与风向后，一把夺过猎枪射击，射偏到鹿的右边5英尺。
突然间，一枪都没开过的统计学家欢呼，「嗬嗬！我们算对了！」
精准完美的平均值有可能代表每次预测都错得离谱。回归分析的结果可能每次都偏向左边或右边几英尺。就算平均下来是正确答案，回归分析也可能意味着始终没能命中目标。
与回归分析不同，机器学习预测的平均值可能会有错，但是预测失误时，通常不会偏差太多。统计学家形容这是藉由容许偏差来换取减少的变异数。
机器学习和回归分析的一个重要差异，就是开发新技巧的方法。发明新机器学习方法需要证明实际应用的效果更好。相反的，发明新回归方法需要先证明理论上可行。将重心放在实务运作，让机器学习的创新者有更多的空间去实验，即使它们使用的方法所产生的估计值平均下来会不正确，或有偏差。在利用丰富的数据与过去10年出现快速计算机的情况下，这种实验的自由空间使得进展突飞猛进。
从1990年代末到2000年代初期，以机器学习预测顾客流失率的实验成效有限。机器学习方法一直在改良，但回归分析的表现普遍来说还是比较好。数据不够丰富，计算机也不够好，便无法善用机器学习的功效。
举例来说，杜克大学Teradata中心在2004年举办一场预测顾客流失率的数据科学比赛。这类比赛在当时并不常见，任何人都能报名参加，而且获胜者可以得到奖金。当时的获胜者就是使用回归模型。有些机器学习方法的表现还算不错，但后来驱动AI革命的神经网络方法却表现不佳。到了2016年，情况完全变了。预测顾客流失率最好的模型就是使用机器学习，而且（神经网络）深度学习模型的表现普遍比其他模型来得好。
发生了什么变化？首先，数据和计算机终于好到足以让机器学习获得绝对优势。在1990年代很难建立够大的数据库。举例来说，典型的顾客流失率预测研究会使用650个顾客、30个以下的变量。
到了2004年，计算机处理和储存功能已有改善。在杜克大学的比赛中，训练数据库里的信息有几千个顾客和几百个变量。有了这些额外的变量与顾客，机器学习方法开始有不错的表现，即使没有比回归分析好，也不差了。
如今研究人员会根据数千个变量与数百万个顾客去预测顾客流失率。运算能力进步，意味着有办法纳入大量数据，包括文字、影像和数字。比方说，在一个移动电话顾客流失率模型中，研究人员使用的数据是每小时通话记录，加上账单金额与准时付款等标准变量。
在利用现有数据上，机器学习方法的表现也比较好。在杜克大学的竞赛中，成功的一个关键要素就是从几百个现有的变量中选择要纳入哪些变量，以及选择使用哪一种统计模型。当时最好的办法，无论是机器学习还是古典的回归分析，都是结合直觉与统计测试来挑出变量和模型。现在，机器学习方法让模型有了弹性，特别是深度学习方法，而这代表可以用意想不到的方式来将不同的变量进行组合。账单金额高、在计费月份初期就花很多时间讲电话的顾客，比起账单金额高、但较晚才讲很多电话的顾客，或许比较不可能流失；或是有大笔周末长途电话账单、通常大量传简讯又迟付款的顾客，特别有可能流失。这样的组合很难预先考虑，但对预测大有帮助。因为很难预知到，所以模型分析师在使用标准回归技术来预测时并不会纳入考虑。机器学习提供选择，看看有哪些组合和互动是对程序设计师不重要，但对机器重要。
机器学习方法的改进，尤其是深度学习，意味着可以有效率地将既有数据转变成顾客流失率的准确预测，而且机器学习方法现在明显比回归分析与其他技术更有优势。
回归分析的挫败
除了顾客流失率之外，从金融市场到天气，机器学习也一直在改进各种场景的预测。
对回归分析为主的预测方法来说，2008年的金融危机是一次重大挫败。推动那场金融危机有部分是来自对债务担保证券（collateralized debt obligation, CDO）违约可能性的预测。2007年时，标准普尔（Standard & Poor）等评等机构预测AAA评等的债务担保证券5年内无法拿回报酬的机率不到八百分之一。5年后，在四档债务担保证券当中，不只一档无法拿回报酬。尽管有丰富的历史违约数据，最初的预测仍是错得离谱。
这场挫败并非因为数据不足，而是分析师使用数据形成预测的方法有问题。评等机构的预测根据的是多种回归模型，这些模型假设不同市场的房价彼此无关，结果证明这个假设是错的，不但2007年是错的，以前也是错的。将一场震撼性事件同时冲击许多房地产市场的可能性纳入考虑，即使债务担保证券散布在美国许多城市，亏损的机率也会随之大增。
分析师是以他们认为重要的假设与会产生的影响来建立回归模型，而机器学习不需要这些信念。机器学习模型特别善于从许多可能的变量中，判定哪些预测的效果最好，并分辨出有些事情无关紧要、有些令人意想不到的事情却有关系。现在，分析师的直觉和假设都不那么重要了。按照这种方式，机器学习就得以根据没预料到的关联性进行预测，包含拉斯韦加斯、凤凰城与迈阿密的房价可能连动。
深度学习
机器学习的最新进展已经改变我们使用统计学预测的方法。我们忍不住会将AI与机器学习最近大部分的进展视为只是「传统统计学吃了大力丸」。从某方面来看确实如此，因为最终目标就是产生预测、填补缺失的信息。再者，机器学习的过程包含寻找可以让错误达到最小的解决办法。
所以什么原因让机器学习成为革命性的运算科技，甚至能贴上「人工智能」的卷标？有些情况下，预测还会好到可以直接取代以规则为主的逻辑。
有效的预测会改变计算机程序设定的方式。无论是传统的统计方法还是「若则」的算法，在复杂的环境下都无法良好运作。想要从一堆照片中找出一只猫？先要具体说明猫有很多的颜色和特征。牠们可能站着、坐着、躺着、跳跃，或一脸暴躁；可能在室内，或是在室外。情况很快就会变得很复杂。因此，即使有办法预测，也需要小心谨慎。而这还只是辨识猫而已。如果想要描述一张照片里的所有物体呢？我们就需要个别具体说明每个物体。
支持最新进展的关键科技称为「深度学习」，这是仰赖一种名为「反向传播」（back propagation）的方法。这是以类似自然人脑的运作方式，藉由透过实例学习，避开上面提到的作法（至于人工神经元是否可以模仿真正的神经元，则是这个科技是否有用的另一个有趣话题）。如果想让一个孩子认识「猫」这个字，你会在每次看到猫时就说这个字。机器学习基本上也一样。你输入一些有「猫」标签的猫照片，以及一些没有「猫」标签、也没有猫的照片，机器就可以学会辨别与「猫」卷标有关的像素模式。
如果你有一系列猫与狗的照片，猫与四只脚的物体链接性就会强化，但是同样也会强化与狗的连结性。如果没有更具体指明，一旦你给机器几百万张各式各样的照片与标签（其中一些没有狗），机器就会发展出更多关联性，并学会区分猫与狗。
许多问题是从算法问题（「猫的特征是什么？」）转换成预测问题（「这个缺少卷标的图像，跟以前看过的猫有相同的特征吗？」）。机器学习是利用机率模型来解决问题。
那么为何许多科技专家称机器学习为「人工智能」？因为机器学习的输出，也就是预测，是智慧的关键成分，预测的准确度会藉由学习改善，而高预测准确度通常可以让机器执行一些直到现在都与人类智能相关的任务，例如物体辨识。
杰夫．霍金斯（Jeff Hawkins）在《创智慧》（On Intelligence）中首先主张预测是人类智慧的基础。他的理论基本要点是，人类智能是创意与生产力增进的核心，这是因为大脑会利用记忆来做出预测，他说：「我们的各种感官持续在同个时间做低层次的预测。但不只如此，我要提出更强烈的主张。预测并非只是大脑做的其中一件事。这是新皮质的主要功能，也是智能的基础。皮质是预测的器官。」2
霍金斯认为，大脑不断在针对我们即将体验到的事情做出预测，包括我们即将看到、感觉到与听到的事。随着我们发育成熟，大脑的预测日益准确，而那些预测通常会实现。不过，当预测未能准确预言未来时，我们会注意到有异常，而这个信息又会回馈到大脑，让大脑更新算法，藉此学习，并进一步使模型加强。
霍金斯的研究具有争议。他的见解在心理学文献中引发辩论，而且许多资讯工程学家断然驳斥他强调皮质为预测机器模型的论点。AI可以通过最强大的图灵测试的想法，也就是机器能够欺瞒人类，让人类相信对方真的是人，不过，距离这个理想依然遥遥无期。目前的AI算法不能推理，而且我们也很难去质问它们，了解其预测的来源。
先不管基础模型是否适当，他强调预测是智慧的基础这一点，却有助于理解AI最新变化的影响。我们在这里要强调预测科技大幅进步的重要性。1956年达特茅斯会议上众多学者的愿望现在已经近在咫尺。从许多方面来说，预测机器可以「使用语言，形成抽象的概念与思想，解决各种现在留给人类的问题，并自行改进。」3
我们不去推测这样的进步是否预告会出现通用人工智能、「奇点」（the Singularity）或天网。不过，就像你会看到的情况，这样狭隘地集中在预测上，依然暗示未来几年会有惊人改变。就像计算机造就便宜的运算，已经证实会强力引发商业与个人生活的急剧变化，类似的转变也会因为便宜的预测而出现。
整体而言，无论这算不算智慧，这种从决定论到机率论的计算机程序设计发展都是重要的阶梯函数转变（step-function transition），不过仍与社会科学及自然科学的发展一致。哲学家伊恩．哈金（Ian Hacking）在《驯服偶然》（The Taming of Chance）中说，19世纪之前，机率是属于赌徒的领域。4到了19世纪，政府人口统计数据的兴起，将新兴的机率数学应用在社会科学上。20世纪则看到我们对实体世界的了解出现彻底重组，从牛顿的决定论观点变成量子力学的不确定性。或许21世纪资讯工程学最重要的进展会符合社会科学与自然科学先前的进展：体认到根据数据、按照机率建构的算法效果最好。
本章重点
* 机器学习科学的目标与统计学不同。统计学强调的是平均值正确，机器学习则不需要，目标反而是运作效率。预测可能有偏差，只要预测成果更好就好（有强大的计算机就可能达成）。这给了科学家实验的空间，并利用丰富的数据与过去10年出现的快速计算机，使得预测快速改进。
* 传统的统计方法需要提出假设，或者至少要用人类的直觉来列出模型设定。机器学习比较不需要事先具体指定模型要纳入哪些假设，而且能适应有更多变量相互作用、更加复杂的模型。
* 机器学习的最新进展通常被视为人工智能的进展，因为：
1. 系统是基于这个方法学习，并渐渐改进；
2. 这些系统在特定条件下产生的预测比其他方法更准确，而且有些专家主张，预测是智慧的核心；以及
3. 预测准确度增强，让这些系统得以执行翻译和导航等等任务，这些任务以前被认为是人类智慧的专属领域。
我们对预测和智慧的关联性仍有保留，我们的结论也不是建立在是否主张预测的进展代表智慧的进展，我们着重在预测成本下跌的结果，而不是智慧成本下跌的影响。
