慷慨／妒忌博弈
在这个博弈中，有N 个博弈参与者，每一个博弈参与者都要选择：是慷慨（G），还是妒忌（S）。
收益（G，N G ）=1+2×N G
收益（S，N G ）=2+2×N G
如果我们在慷慨／妒忌博弈中应用强化学习规则，那么博弈参与者们都会学会做一个慷慨的人。为什么会这样？要理解这一点，不妨假设博弈参与者处于几乎已经收敛到均衡的状态了，N G 个博弈参与者都选择了慷慨的行动。这时，如果有一个妒忌的博弈参与者，那么他可以获得2+2×N G 的收益。这将成为他的渴望水平。如果他选择的是G（哪怕发生概率很小），那么他的收益为1+2×（N G +1）=3+2×N G ，这比他的渴望水平还要高。因此，他将更有可能变成慷慨的。不断应用这种逻辑，我们就会发现所有的博弈参与者都将学会慷慨。
但是，如果我们在慷慨／妒忌博弈中应用复制者动态，人们就会学会做一个妒忌的人。只要仔细观察一下复制者动态方程，就可以得出这个结论。在每一期，选择妒忌行动的那些博弈参与者所获得的收益都要高于选择慷慨行动的博弈参与者。因此，在每一期，选择妒忌行动的博弈参与者的比例都会上升。
这些结果突显了个体学习与社会学习之间的关键差异。个体学习会引导人们选择更好的行动，因此人们会学会采取占优行动（如果占优行动存在的话）。而社会学习则引导人们选择相对于其他行为来说表现更好的行动。在大多数情况下，这些行动通常也会产生更高的收益。但是，在慷慨／妒忌博弈中却并不是这样。在这种模型中，妒忌行动的平均收益更高，但是占优的却是慷慨行动。特别需要注意的是，我们的分析得出了一个悖论性质的结果：如果人们进行的是个体学习，那么他们就能够学会做一个慷慨的人——比通过社会学习能够学会的更加慷慨。之所以会出现这种情况，是因为在社会学习中，博弈参与者会复制表现相对较好的博弈参与者的行动。
现在考虑一下之前的观点：我们可以将复制者动态视为一种适应性规则，或者视为发生在若干固定规则之间的选择。如果假设了后者，那么我们的模型就意味着选择可能有利于妒忌这种类型。（自然）选择不一定会导致合作。这个结果与我们在研究重复囚徒困境博弈时发现的结果背道而驰——在那里，重复导致了合作。我们在那里考虑的是重复博弈，并允许更复杂的策略。
将不同的学习模型组合起来
我们已经看到了个体学习模型和社会学习模型都能在一组固定的备选方案中找到最优解决方案，但当把它们应用于博弈时，也可能产生不同的结果。缺乏协议也可以是一种力量。不妨想象一个由所有可能的博弈组成的巨大集合。再想象一个由所有学习模型组成的巨大集合。我们可以将第二个集合中的每个学习模型应用于第一个集合中的每个博弈，并评估它们的表现。然后我们可以将这个包括了所有博弈的集合划分为两个集合：学习规则产生了有效结果的博弈的集合，以及不能得到有效结果的博弈的集合。我们还可以考察实验数据并评估每个学习规则在作为对实际行为的预测器时表现如何。毫无疑问，这种研究将会揭示一些我们未曾预料过的东西。每个学习规则都会在某些博弈中带来有效的结果，但是对其他一些博弈则不能。同时，每个学习规则本身在准确描述了行动的不同情况下也会有所不同。因此，我们提倡多模型思维。
在本章中，我们介绍了两个标准的学习模型。每一个模型都只包括了少数几个会变化的组成部分。我们的目标是对这些令人兴奋的文献给出一个适中的介绍。只要往这两个标准模型中加入更多细节，就能够更好地拟合实验数据和经验数据。请读者回想一下，在强化学习模型中，个体会根据一个已采用过的行动或备选方案的奖励（或收益）是否超过了渴望水平来加大或减少该行动或备选方案的权重。个体不会增加从未采取过的行动的权重：在强化学习模型中，我们不会因为假想采取了某个行动会带来很高的收益，而提高采取这种行动的概率。
在所有情况下，这种假设都没有意义。假设一个员工决定在休假时不带手机。当他去度假时，他的老板打电话要他解决一个重要问题，这个员工没有接到这个电话，并因此错过了一个升职机会。在强化学习模型中，员工不会给“度假时带手机”这个行动赋予更大的权重。有鉴于此，人们对标准模型进行了修正，提出了罗斯-伊雷夫学习模型（Roth-Erev learning model），让未被选择过的备选方案也可以根据其假想的收益来获得权重。在这个例子中，这个员工将会给“度假时带手机”赋予更大的权重。
这个修正导致了基于信念的学习规则。未被选择过的备选方案权重的增加量可以通过一个实验参数来确定。实验参数越高，人们对其他人行为的影响的考虑就越多，对那些行为赋予的权重也增加得越多。经济学家埃尔文·罗斯（Alvin Roth）和伊多·伊雷夫（Ido Erev）还考虑到，其他博弈参与者也在学习，他们的策略也可能在发生变化，因此还对过去进行了贴现处理。 14
这些额外的假设具有其直观意义，并且都得到了经验证据的支持，但是它们并不适合于所有情况。如果回到前面举过的制作薄饼的例子，那么第一个假设意味着在父母制作好了香蕉薄饼之后，还要赋予制作苹果薄饼的备选方案额外的权重，而且该权重要与苹果薄饼的收益成比例。只有当父母知道苹果薄饼的收益时，这样的假设才是有意义的。但是，只有当人们能够观察到或凭直觉感知未被选择行动的收益时，才会出现这样的情况。
第二个修正模型来自行为经济学家科林·凯莫勒（Colin Camerer）和何（Ho）。他们构建了一个通用的函数形式，把强化学习和基于信念的学习都作为特殊情况包括了进去。这个函数的关键是一个可以用数据拟合的、确定每种类型学习规则相对强度的参数。 15 将多个模型组合在一起，正是我们学习掌握许多模型的一个重要动机。也就是说，由于参数的增加，组合模型必定能够导致更好的拟合。即便考虑到了参数增多这个因数，凯莫勒和何的模型也能给出更好的预测和更深刻的解释。
对学习建模带来了一些挑战。在一个模型设置中运行良好的学习规则可能完全无法适用其他情况。此外，人们学习的东西可能取决于他们最初的信念，因此两个人可能在同一个环境中以不同方式学习，同一个人也可能在不同的环境中以不同的方式学习。即便我们真的构建出了一个准确的学习模型，也会遇到可利用性原则（exploitability principle）带来的难题：如果一个模型解释了人们如何学习，那么其他模型就可以应用这个模型来预测相关知识，并在某些情况下利用该知识。这样一来，人们就可能会学会如何不会被利用，从而使我们原来的学习模型不再准确。在本书前面的章节中，当我们讨论卢卡斯批判和对有效市场假设的分析时，我们就已经遇到过这种现象了。我们不一定能得出结论说那是因为人们会了解到他们在最优化，然而，学习毕竟倾向于淘汰不良行为、从而有利于更好的行为。
文化能否压倒战略
我们现在将传染模型和学习模型结合起来，以便剖析组织理论中由来已久的一个理论观点：文化压倒战略。 16 简而言之，这个观点声称，改变行为的战略激励终将归于失败。理论组织家强调，文化——即现有的既定规则和信念的力量实在太强大了。经济学家的观点则相反：推动行为的，只能是激励。
为了将这些相对立的谚语式诊断转变成条件逻辑判断，我们首先必须应用网络传染模型的一个变体。在这个模型中，经理，或者也可能是CEO，宣布了一个新战略，并给出了推动变革所能带来的好处的多项证据。这位经理或CEO甚至可能会对组织的核心原则加以重新界定，以便反映这种新行为的要求。然后，组织中的其他个体决定是否采取这种行为，这取决于经理或CEO对其战略的说服力有多大。一开始，只有一部分人执行这个计划。当他们在工作网络中与他人互动时，就会热情洋溢地传播新战略。当然新战略也会面临挑战，会有一种反向的力量拉动人们不去采用新战略。有三个特征决定了新策略能否顺利展开：接触率（Pcontact ）、扩散率（Pspread ）和放弃率（Precover ），它们很自然地映射到了基本再生数中的参数R0 上，即：
如果再加入存在超级传播者的可能性，就可以得出这样的结论：只要如下三个条件中任何一个条件成立，文化就会压倒战略，否则，战略就能压倒文化。这三个条件分别是：如果人们不相信新战略，如果人们很快就放弃了新战略，如果新战略的拥护者相互之间的连通性不够好。
我们的第二个模型是，将复制者动态方程应用于这个用来表征员工之间互动的文化战略博弈。我们可以将员工的不同选择用博弈论的语言分别表示为文化行动（做他们目前所做的事情）和创新的战略行动。我们还假设，经理或CEO已经确定了收益结构，如果两个博弈参与者都选择创新的话，他们都能获得更高的收益；但是，如果只有一个博弈参与者选择创新，那么他的收益将会减少。
文化／战略博弈
这个博弈有两个严格的纯策略纳什均衡：一个是两个博弈参与者都创新（战略胜过了文化），另一个是两个博弈参与者都不创新（文化胜过了战略）。乍一看，经理或CEO似乎已经给出了足够大的激励，能够保证员工会选择创新的行动。但是通过分析，我们发现，经理或CEO必须动员起足够多的初始支持者才能使创新成为现实。如果一开始就支持新战略的人的比例没有超过20%，那么文化就会胜过战略。如果要增加创新战略的收益，那初始支持者的比例可能会更低，但仍然会产生有效的结果。 17
这两个模型表明，字面上相反的两个谚语“文化压倒战略”和“人们会对激励做出反应”都是正确的。根据第一种模型，具有很高人格魅力的CEO可以制订能够胜过文化的新战略。根据第二种模型，文化能胜过“弱激励”，但是不能胜过“强激励”。
27 多臂老虎机问题
有一件事我确实特别擅长，那就是将网球击过网，打在界内。在这件事情上，我是最棒的。
塞雷娜·威廉姆斯（Serena Williams）
在本章中，我们在如何学会选择最优备选方案的学习模型中加入不确定性，从而生成了一类被称为“多臂老虎机问题”（multi-armed bandit problems）的模型。在一个多臂老虎机问题中，不同备选方案的奖励源于一个分布，而不是固定的金额。多臂老虎机问题模型适用于各种各样的现实环境。在收益不确定的行动之间进行的任何选择，无论是药物试验，还是对树立广告牌位置的选择、技术路线的选择，抑或是要不要允许在教室中使用笔记本电脑的决定，都可以建模为多臂老虎机问题。当然，如何选择一个可以出人头地的职业，也可以用多臂老虎机问题模型来建模。 1
在面对一个多臂老虎机问题时，人们必须对各个备选方案多加尝试，以便通过这种学习过程来了解收益的分布。多臂老虎机问题的这个特征，也导致我们必须在探索（寻找最佳备选方案）和利用（选择迄今为止表现最佳的备选方案）之间善加权衡。在探索与利用权衡中找到最优平衡点，需要非常精妙复杂的规则和行为。 2
本章的主体内容分为两个部分，最后对模型的应用价值进行了讨论。在本章的第一部分，我们描述了一类特殊的伯努利多臂老虎机问题，其中每个备选方案都是一个伯诺利瓮（瓮中灰球和白色球的比例是未知的）。我们描述并比较多种启发式求解方法，然后说明这些解是如何有助于改进药物疗效的比较检验、广告计划和教学策略的。在第二部分中，我们描述了一个更一般的模型，其中收益分布可以采取任何形式，并且决策者对其类型有一个先验分布。我们还阐明了如何求解确定最优选择的吉廷斯指数（Gittins index）。
伯努利多臂老虎机问题
我们从一类特殊的多臂老虎机问题开始讨论。在这类多臂老虎机问题中，每个备选方案都能以固定的概率产生成功的结果。因此，这类多臂老虎机问题相当于在一系列伯努利瓮之间进行选择，且每个瓮都包含着不同比例的灰球和白球。因此，我们将这类多臂老虎机问题称为伯努利多臂老虎机问题，也经常被称为频率问题，因为决策者对分布一无所知。不过，当决策者对各个备选方案进行了多次实验（探索）之后，他会对这些分布有所了解。
伯努利多臂老虎机问题
一个备选方案集{A ，B ，C ，D ，…，N }中的每一个备选方案都能够产生一个成功的结果，但是各自的概率{P A ，P B ，P C ，P D ，…，P N }都是未知的。在每一个时期，决策者选择一个备选方案K ，并以概率P K 得到一个成功的结果。
假设一家烟囱清洁公司获得了一批最近购买了房子的人的电话号码，然后打算向他们推销烟囱清洁服务。这家公司测试了三种推销策略。第一种策略是“笃定预约式”（“你好，我打电话来是为安排你家每年一度的烟囱清洁。”）；第二种策略是“关心提问式”（“你好，你知道烟囱堵塞是火灾的最大风险因素吗？”）；第三种策略是“人性感动式”（“你好，我的名字是希尔迪，我已经和我父亲一起打理这家烟囱清扫公司整整14个年头了。”）。
每一种推销策略都有可能成功，但是成功概率在事前是未知的。假设该公司首先尝试的推销策略是“笃定预约式”，但是失败了。然后又尝试了“关心提问式”，结果成功地获得了一个客户；而且，这种策略紧接着又成功了一次。但是，在接下来的3次尝试中，这种策略都失败了。于是，该公司尝试了第三种策略。第三种策略的第一次尝试是成功的，但是接下来却连续失败了4次。这样，在总共进行了11次尝试之后，第二种推销策略的成功率是最高的，但是第一种策略只尝试了一次。于是，决策者面临着在利用（选择最有效的备选方案）或探索（回过头去继续尝试其他两种推销策略以获得更多信息）之间的权衡。医院在不同的外科手术方案之间的选择，制药公司对药物检验的不同方案的权衡，也都会碰到同样的问题。每一种“协议”都有未知的成功概率。
为了进一步深入理解这种探索-利用权衡，我们比较了两种启发式。第一种启发式是取样并择优启发式（sample-then-greedy），即先对每个备选方案都尝试固定的次数M ，然后选择具有最高平均收益的备选方案。而在确定尝试次数M 大小的时候，我们可以参考伯努利瓮模型和平方根规则。平均比例的标准差有一个上界 。如果每种备选方案都进行了100次的测试，那么平均比例的标准差将等于5%。如果应用两个标准差规则来识别显著差异，当两个比例相差大约10%时，我们就能够自信地将它们区分开来了。例如，如果一个备选方案在70%的时间内都取得了成功的结果，而另一种方法则只在50%的时间内取得了成功，那么就有95%以上的置信水平相信我们能够选中正确的备选方案。
第二种启发式称为自适应探测率启发式（adaptive exploration rate heuristic）。它的程序是，第一阶段，先让每种备选方案各完成10次试验。第二阶段，再进行总共20次试验，但是试验次数根据各备选方案在第一阶段的成功率按比例分配。例如，如果第一阶段的10次试验中，有一个备选方案成功了6次而另一个只成功了2次，那么第一个备选方案将获得接下来的20次试验中的3/4。到第三个阶段，可以根据成功率的平方确定本阶段要进行的20次试验的分配比例。如果那两个备选方案的成功率仍然与前面一样，那么更好的备选方案在第三阶段的20次试验中将分配到 或90%。
以此类推。对于每一个阶段的20次试验，计算分配比例时所用的成功概率的指数可以以某种速率递增。随着时间的推移，通过提高利用率，第二种算法相比第一种算法有所改进。如果一个备选方案的成功概率比另一个备选方案高得多，比如80%对10%，那么第二种算法就不会在第二个备选方案上“浪费”100次试验。另一方面，如果两个备选方案的成功概率非常接近，就要继续进行试验。 3
对于第一种启发式，取样并择优启发式，如果在使用时过分执着，那么不仅效率低下，而且可能是不道德的。当美国著名外科医生罗伯特·巴特莱特（Robert Bartlett）在测试人工肺时，发现它的成功率远远超过了其他备选方案。既然人工肺的表现已经如此优异了，那么继续测试其他备选方案就会导致不必要的死亡。于是巴特莱特停止测试其他备选方案，让每个患者都使用上了人工肺。事实上，可以证明这是一个最优规则：如果某个备选方案总能取得成功，那么就继续选择这个备选方案。增加实验可能没有任何价值，因为没有其他备选方案能够表现得更好。
贝叶斯多臂老虎机问题
在贝叶斯多臂老虎机问题中，决策者对各备选方案的收益分布有先验信念。考虑到这些先验信念，我们可以对探索与利用之间的上述权衡进行定量分析，并（至少在理论上可以）在每个时期都做出最优决策。然而，即便是对于最简单的多臂老虎机问题，要确定最优行动也需要进行大量的计算。在真实世界的实际应用中，要精确计算出结果是不可行的。因此决策者通常都会利用近似方法。
贝叶斯多臂老虎机问题
给定备选方案集{A ，B ，C ，D ，…，N }，以及对应的收益分布{f （A ），f （B ），f （C ），f （D ），…，f （N ）}。决策者对每个分布都有先验信念。在每一期，决策者选择一个备选方案，并获得收益，并根据收益计算出新的信念。
要确定最优行动，需要经过如下四个步骤。首先，要计算出每个备选方案的即时期望收益。其次，对于每个备选方案，都要更新关于收益分布的信念。再次，在得到的关于收益分布的新信念的基础上，根据我们所掌握的信息确定所有后续时期的最优行动。最后，我们将下一期行动的期望收益与未来的最优行动的期望收益相加。最后得到的这个结果就是通常所称的吉廷斯指数。在每一个时期，最优行动的吉廷斯指数都是最大的。
这里需要注意的是，计算指数的过程同时也量化了探索的价值。而且，如果我们尝试某个备选方案，那么吉廷斯指数也不会等于期望收益。相反，吉廷斯指数等于假设根据所掌握的知识采取最优行动时，所有未来收益的总和。但是，计算吉廷斯指数非常困难。下面举一个相对简单的例子。假设备选方案有两个，一个是肯定能带来500美元的安全的备选方案，另一个是有10%概率可以带来1 000美元的有风险的备选方案，在其余90%的时间里，有风险的这个备选方案不会带来任何收益。
为了计算出这个有风险的备选方案的吉廷斯指数，我们首先要问清楚会发生什么：它要么总是收益1 000美元，要么总是没有任何收益。然后再思考每个结果将会怎样影响我们的信念。如果我们知道这个有风险的备选方案会让我们收益1 000美元，那么我们总是会选择它。如果我们知道这个有风险的备选方案没有任何收益，那么我们在未来将总是选择安全的那个备选方案。
由此可见，有风险的这个“臂”的吉廷斯指数对应于每个时期获得1 000美元奖励的概率为10%，以及除了第一期之外的每个时期获得500美元的概率为90%。平均来说，要对备选方案进行多次选择的情况下，这相当于每一期大约550美元。因此，这个有风险的备选方案才是更好的选择。 4
吉廷斯指数
为了说明如何计算吉廷斯指数，考虑下面这个只有两个备选方案的例子。备选方案A产生的收益抽取自{0，80}，且0和80出现的概率相等。备选方案B在{0，60，120}当中产生一定的收益，而且这三个收益的概率也是相等的。我们假设，决策者试图最大化10个时期内的总奖励。
备选方案A： 收益等于零的概率为1/2，在出现了这种结果之后，在剩下的全部9期内都会选择备选方案B（备选方案B的期望收益60），这样就得到了540的期望收益（9乘以60）。收益等于80的概率也为1/2，即便出现了这个结果，在第二期的最优选择仍然是选择备选方案B。于是有1/3的概率，备选方案B产生了120的收益，因此总收益等于1 160（80加上9乘以120）。同样，有1/3的概率，备选方案B产生了60的收益，在这种情况下，备选方案A是剩下的所有8期的最优选择，这样产生的总收益等于 780（60加上9乘以80）。最后，还有1/3的概率，备选方案B产生了零的收益，在这种情况下，备选方案A是剩下的所有8期的最优选择，这样产生的总收益等于720（9乘以80）。
把上面这些可能性全都考虑进去，可以得出，在第一期，备选方案A的吉廷斯指数如下：
备选方案 B：有1/3的概率，收益等于120。如果发生了这种情况，那么所有未来时期的最优选择也仍然是备选方案B。因而10个时期的总收益将等于1 200。如果收益等于零（概率为1/3），那么所有未来时期的最优选择都将是备选方案A（备选方案A的期望收益为40），因而，期望总收益将等于360（9乘以40）。如果收益等于60，那么决策者在所有未来时期都应该选择替代方案B，总回报为600；但是，如果在第二个时期选择了备选方案A，那么有一半时间备选方案A总是产生80的收益，此时总回报为780（60加上9乘以80）；另一半时间它产生零收益，并且所有后续时期的最优选择都将是备选方案B（会产生60的收益），于是得到的总收益为540（9乘60）。由此可知，在第二期中选择备选方案A才是最优选择，这种选择产生的期望收益等于660×（1/2×780+1/2×540）。
把所有可能性都考虑进去，不难推出，备选方案B在第一期中的吉廷斯指数如下：
根据这些计算结果，备选方案B是第一期的最优选择。最优长期选择则取决于第一期内学习的结果。如果备选方案B产生了120的结果，那么我们将永远坚持选择备选方案B。
上述的分析表明，在采取行动时，我们更关心的是备选方案能够成为最优选择的概率而不是它的期望收益。此外，如果某个备选方案会产生非常高的收益，我们应该更有可能在将来选择它。相反，如果它只能产生平均收益，那么即便收益水平高于另一种备选方案的期望收益，我们一直坚持这个备选方案的可能性也不会太高。在尝试的早期阶段尤其如此，因为我们希望找到更高收益的备选方案。这些结果在我们讨论的诸多应用中都是成立的。如果采取行动没有风险，也不需要付出高额成本，那么这个模型告诉我们，即使高收益行动的概率很低，我们也要努力去探索它们。
小结
本书一再强调的一个核心要点是，通过学习模型，我们可以做出更好的决策。在对人们在多臂老虎机问题中“应该”做些什么与人们“实际”做了些什么进行一番比较之后，我们可以对这一点有更深刻的理解。绝大多数人在遇到多臂老虎机问题时，都不会去试图计算一个吉廷斯指数。之所以没能这样做，部分原因是他们没有将必要的数据保存下来。例如，直到最近，医生才开始记录各种手术方法的效果，比如不同类型的人工关节的功效，或者不同类型的心脏支架的优缺点，等等。没有这些数据，医生就无法确定哪一种手术方法会带来最高的期望收益。
其实是所有人，都需要足够的数据，这样才能把模型教给我们的东西应用起来。因此，如果你真的想了解晚餐前散步还是晚餐后散步对你的睡眠更有利，你就需要跟踪记录你的睡眠状况，并运用一些相当复杂的启发式去了解哪种散步模式效果更好。初看上去，这可能会显得小题大做，而且要付出的时间精力相当可观，的确如此，但是现在已经好很多了。新技术的不断涌现，使我们能够非常方便地收集有关睡眠模式、脉搏率、体重，甚至情绪好坏的大量数据。
我们每个人都要做出很多与自己的身体健康息息相关的决策，比如什么时候去锻炼，但是绝大多数人都没有去收集必要的数据并计算出吉廷斯指数。但这其实非常重要，关键在于我们是否能够做到这一点，而且如果做到了，我们的睡眠模式、身体健康状态就会得到改善。心理学家塞思·罗伯茨（Seth Roberts）探索了整整12年，结果发现自己每天至少站立8小时才可以改善自己的睡眠状态（尽管他还是睡得更少）。他还发现，迎着早晨的阳光站立，可以减轻他上呼吸道的感染症状。 5 当然，我们一般人可能很难具备他这种用自己身体来做实验的奉献精神。但是，由于不保存数据，也不对相关结果进行比较，我们可能会更容易放任自己不吃早餐或暴饮暴食——尽管我们有更好的选择，比如吃西柚。
在利害关系很大的商业决策、政策制定和医疗决策中，数据更容易收集，应用多臂老虎机问题模型也早就成了一种常见的做法。企业、决策者和非营利组织，都会先对各种备选方案进行探索，然后利用那些表现最好的备选方案。而且在实践中，备选方案往往不会保持固定不变。例如，鼓励参加农业补贴计划的政府邮件可能每一年都会改变，比如将上一年的强健男子的照片换为性感美女的照片，等等。 6 这种类型的连续实验可以通过将在下一章中讨论的模型来刻画，那就是：崎岖景观模型。
用不同模型分析美国总统选举
我们可以应用至少三种模型来分析美国总统选举：空间竞争模型、分类模型和多臂老虎机问题的模型。
空间竞争模型： 民主、共和两党的总统候选人在意识形态空间中互相竞争以吸引选民。我们有理由预计，各候选人倾向于温和的中间立场、选情会比较胶着，不同政党候选人获胜的顺序是随机的。除了少数例外情况外，总统选举不会以某一方压倒多数获胜结束。为了检验美国总统大选获胜者的顺序是不是随机的，我们构建了从1868年到2016年38次总统大选的获胜政党的时间序列。该序列如下（字母R、D分别表示共和党、民主党）：
RRRRDRDRRRRDDRRRDDDDDRRDDRRDRRRDDRRDDR
然后我们可以计算出不同长度的子序列（块）的熵。长度为1的子序列的熵为0.98。长度为4的子序列的熵为3.61。统计检验表明，我们不能否认这个序列是随机的。作为比较，在长度为38的随机序列中，长度为1的子序列的熵为1.0，长度为4的子序列的熵为3.58。
分类模型： 如果我们将每个州视为一个类别，同时假设不同州之间存在着异质性，那么空间竞争模型意味着一旦候选人选定了初始位置，某些州就不再具有竞争力了。这个模型的预测是，在少数几个立场温和的州，选举竞争将特别激烈。2012年，奥巴马和罗姆尼都在10个州花掉了自己电视广告预算的96%以上。他们每个人都将广告预算的一半多用于3个温和的州：佛罗里达州、弗吉 尼亚州和俄亥俄州。2016年，希拉里 ·克林顿和特朗普也将一半以上的电视广告预算花在了3个温和的州：佛罗里达州、俄亥俄州和北卡罗来纳州。 7
多臂老虎机问题的模型（回溯性投票）： 选民将更有可能将选票再一次投给有良好执政业绩的那个政党。给绩效好的政党投票，相当于拉一个会带来高收益的杠杆。经济繁荣通常会使竞选连任者受益。有证据表明，当经济表现良好时，选民更有可能投票给执政党的候选人。而且，在执政党内部，现任候选人的影响也大于非现任候选人。 8
28 崎岖景观模型
当你费心去寻找时，就会发现令人惊奇的事情。
传为萨卡加维亚（Sacagawea）所说
在本章中，我们研究崎岖景观模型。与空间竞争模型和享受竞争模型一样，崎岖景观模型也将一个实体定义为属性的集合。每个属性的集合都映射到一个价值上。崎岖景观模型的目标是修改属性，以构造出一个具有最高价值的实体。这类模型起源于生态学中对演化的研究。现在，崎岖景观模型已经广泛用于探索各种问题的求解方法、研究企业之间的竞争和创新，以及其他领域，这也是我们在本书中要研究的重点。在本章中，我们将应用崎岖景观模型揭示，属性影响的相互依赖性如何使创新变得困难、导致所找到的解决方案呈现出路径依赖性、并且还造成了解决方案本身的多样化。同时，我们也会阐明，许多更困难的问题是怎样通过更加多样化的问题求解方法而得以解决的。
本章由三个部分组成，然后，我们讨论了如何扩展模型以刻画竞争。在第一部分中，我们先描述了一个适合度景观模型（fitness landscape model），然后阐明了怎样将它重新解释为一个关于问题求解和创新的模型。在第二部分中，我们讨论了一维模型中崎岖度的含义。在第三部分中，我们提出了崎岖景观的NK模型，它将一维模型扩展到了任意数量的二元维数。
适合度景观模型
适合度景观模型假设物种拥有能够促进其适合度的特征或性状，我们可以不那么严格地将之定义为繁殖潜力，同时种群中不同成员所拥有的特定性状的数量或程度可能不同。如果用横轴表示性状，用纵轴表示物种的适合度，就可以绘出一张适合度景观的图，其中高海拔点对应高适合度。
举例来说，为了绘制出一张对应于土狼尾巴长度性状的适合度景观的图，我们应该令土狼的所有其他性状都保持不变，而只改变尾巴的长度，并测量尾巴长度的变化对适合度的影响。这就是说，要绘制出这张图，我们必须先了解土狼尾巴为什么有助于提高它的适合度。
假设一只土狼的尾巴有助于土狼在跳跃时保持平衡，而且土狼可以将它作为表示幸福、恐惧或即将发动攻击的信号。我们从横轴的最左侧开始，在那里，尾巴长度为零，这种情况下它不能执行任何一种功能，因此它的适合度为零。随着尾巴长度的增加，维持平衡和传递信号的功能也随之提高。因此，适合度先是随尾巴长度的增加而上升的。
但是，到了某一点上，比如当尾巴长到18英寸时，可能就是有助于土狼保持平衡的最理想长度。如果尾巴变得更长，土狼运动的敏捷度将会下降。不过，更长的尾巴可能还会继续提高它传递信号的价值，因此，长度为20英寸的尾巴可能会产生最大的整体适合度。一旦尾巴的长度超过了20英寸，适合度就会开始下降。结果如图28-1所示，它具有一个单峰。
图28-1 富士山景观
这种单峰景观被称为富士山景观。在现实世界中，这样的景观是经常出现的。有富士山景观的问题通常是比较容易解决的问题。我们可以指望演化或学习在遇到这类问题时找到这个山峰。不妨想象一下，假设有一个由尾巴长度各不相同的土狼组成的种群，那么自然选择的压力最终会导致土狼的尾巴长到大约20英寸。拥有这个长度的尾巴的土狼，能够同时将维持身体平衡和传递信号这两个任务完成得最好。因此，这样的土狼的适合度最高，能够留下最多的后代，从而导致更多的土狼拥有20英寸长的尾巴。如果我们认为这是一个优化问题，那么任何一个爬山算法都能找到这个山峰。
我们也可以应用一对多的思维方法，将这个问题重新解释为一个产品设计问题，比如设计一把煤铲。假设我们已经决定了煤铲的长度和形状，只剩下煤铲的大小有待决定。于是，煤铲的面积就是要反映在横轴上的特征。而在纵轴上，我们给出的是一个工人在给定煤铲大小的前提下，一个小时内能够铲煤的数量。
与之前的例子一样，我们仍然从最左侧开始，那一点对应于面积为零的煤铲。面积为零的煤铲其实只是一根棍子。当然，用一根棍子去铲煤是完全无效率的，其价值为零。我们逐渐增大煤铲的面积，先是一茶匙大，接着是一汤匙大，然后是像玩具铲那么大……煤铲就变得越来越有效。在这个过程中，煤铲的适合度图形是向上倾斜的。然后，到了某个点上，当煤铲的面积变得太大之后，要用它去铲煤就变成了一件苦差事。一个小时内可以铲煤的数量就会随煤铲的面积进一步增大而减少。最后，当煤铲面积变得足够大时，将没有任何人能够抬起这把煤铲，因而它的适合度又一次变为零。我们又看到了富士山景观。我们有理由期待肯定能够找到山峰，也就是要设计的煤铲的理想面积。
事实上，将铲子的效率作为铲子面积的函数，以此来确定最优铲子大小的思想，正是著名经济学家、管理学家弗雷德里克·泰勒（Frederick Taylor）提出的。在19世纪90年代，泰勒和其他一些人开创了科学管理的新纪元。在泰勒生活的那个时代，制造业决策，比如流水装配线的移动速度有多快，焊接强度要多高，工人的休息时间是多少，等等，都被建模为崎岖景观问题。进入20世纪后，许多伟大的实业家，例如福特汽车公司创始人亨利·福特（Henry Ford）、“石油大王”约翰·D. 洛克菲勒（John D. Rockefeller）和“钢铁大王”安德鲁·卡内基（Andrew Carnegie）都为这个现在用泰勒主义一词来概括的运动做出了卓越的贡献。
从制造个性化的、“只此一家别无分店”产品的工匠生产，转为大规模制造，是一个重大的变革。在大规模生产中，制造流程要分解为多个部分，每个部分都要经过优化，然后变成常规操作。这样一来，效率得到了大幅提高。但是在许多人看来，这个过程也是劳动的非人化过程。这种分歧就是一个提示：我们需要多个模型。任何单一模型都是对世界的过分简化，只能突出其中的某些维度。科学管理模型侧重于流程效率。这种偏向导致了批评。以产出效率为准则做出的决策，会导致其他目标遭到忽视，例如工人的快乐和福祉。
从表面上看，景观模型似乎只是一个相当浅显的想法：将适合度、效率或价值作为特征或性状的函数绘制在图上，然后爬上山顶，找到那个特征或性状的最优值。而且，把解决问题想象为“爬山”，似乎也不过是一个简单的比喻。这当然都是有效的批评。但是，如果构建了正式的景观模型，我们将能够得到一些非凡的结论。
崎岖景观
当我们同时考虑多个属性并且允许一个属性的贡献与其他属性的贡献相互作用时，就会得到一个崎岖景观，也就是具有多个山峰的景观。考虑一个设计沙发的问题，我们必须决定坐垫的厚度和扶手的宽度。我们用沙发在市场上的预期销售额来代表设计的价值，而沙发的销售额与设计的美感相关。如果沙发有厚厚的垫子，那么较宽阔的扶手可能会使沙发更具美感。如果沙发的垫子很薄，那么扶手窄一点会更好。作为扶手宽度和坐垫厚度的函数，预期销售的二维图将具有两个山峰。一个山峰对应于窄扶手、薄垫子的沙发设计；另一个山峰则对应于宽扶手、厚垫子的沙发设计。
变量之间的相互依赖效应，使得景观出现了崎岖的特点。这种崎岖性有好几个重要含义。首先，在崎岖景观中寻找到最高点时所用的不同方法，可能会以找到不同的山峰而告终。如果从不同的起点出发，也可能会找到不同的山峰。因此，崎岖性导致了对初始条件的敏感性和路径依赖的可能性。而这些都意味着，景观的崎岖性有助于结果的多样性。崎岖性也意味着出现次优结果的可能性，在崎岖景观中，次优结果表现为局部高峰。
图28-2显示了一个有5个山峰的崎岖景观。在这些山峰中，有4个是局部高峰，它们只是比与它们相邻的点的值高一些，只有一个是全局高峰，即具有最高值的点。要理解搜索是怎样止步于依赖初始搜索点的局部高峰的，可以想象从一个点开始往山峰爬的过程。这种过程被称为梯度启发式（gradient heuristic）或爬山算法（hill-climbing algorithm）。在崎岖景观中，梯度启发式技术会“卡”在局部高峰上。
图28-2 一个有5个山峰的崎岖景观
如果起点位于最左侧，那么梯度启发式将定位于局部高峰1上，但它不是最优的。如果梯度启发式从图28-2中标识为“吸引盆2”的区域开始，那么它将定位于局部高峰2上。其他每个山峰，包括全局高峰，都有这样一个区域：如果梯度启发式从那个区域开始，就会找到那个局部高峰。这些区域被称为吸引盆（basin of attraction），如图28-2所示。从图中可以看出，全局高峰吸引盆的面积是最小的。如果我们随机选择一个起点并应用梯度启发式，那么全局高峰恰恰是最不容易被找到的那一个山峰。
吸引盆取决于启发式。如果我们使用了不同的启发式，就可能得到不同的吸引盆。例如，我们也可以不用梯度启发式，转而使用一个名为“一直向右走”的启发式。这个启发式一直向右侧搜索，直到找到一个局部高峰为止。对于这个例子，这两种启发式具有相同的局部高峰但却会产生不同的吸引盆，只要比较一下图28-3和图28-2，就可以看出这一点。
图28-3 由“一直向右走”启发式产生的吸引盆
要在崎岖景观中找到最优或接近最佳的高峰，需要多样性和复杂性的方法。多样性的价值是不言而喻的，如果不同的启发式能够找到不同的峰值，那么对一个问题应用多个不同的启发式就能够产生多个不同的局部峰值，然后就可以从这些局部峰值中选择一个最优的。 1 或者换一个思路，如果从不同的起点应用同一个启发式，那么也可以得到相同的结果：先找到若干个不同的局部最优点，然后选择其中最优的。
另外还应该注意到，景观的崎岖度（以山峰的数量来衡量）与问题的难度相关。当然，有的问题很难解决，但却不一定有崎岖的景观。在一大块玉米地里找一枚金币这个问题可以用一个平坦的景观来表示，只是在硬币的位置有一个单峰。它的景观不是崎岖的，但是要找到硬币确实很难。
NK模型
