炫耀性消费由来已久，部分原因在于人类很在意别人对自己的看法。这种消费行为之所以经久不衰，还因为消费可以起到信号的作用。 1 我们不能完全看清某个人，所以我们依赖于他们穿的衣服、开的汽车、喝的酒来推断他们的“隐藏属性”。如果我们看到一个人开着昂贵的汽车，那么大体上可以推断出他拥有一定财富。一个人向慈善组织大笔捐款，表明他是一个慷慨大方的人，因为没有自私的人会做出这样的行为。一个人在社交媒体上宣布自己获得了理论生物学博士学位，那是传达关于他的智力水平和所从事职业的信号。几乎所有行动都在一定程度上传递了某种信号。当政客们投票决定是对某个国家宣战、还是实施制裁时，他们就发出了关于自己意识形态立场的信号。某些有长期目标的政客（例如打算日后竞选总统）可能会试图通过投票发出最有利于自己未来政治前途的信号，因而不一定会给最有利的政策投赞成票。
在本章中，我们首先研究离散信号模型。在这种模型中，个体可以选择发送信号或不发送信号；同时，不同的个体发送信号的成本也不相同。要让信号发挥作用，它们就必须是昂贵的（有成本的）或可验证的。这将是本章的一个重点内容。例如，一个雇主打算从新入职员工中选一些人夏天到西班牙巴塞罗那出一趟“美差”。所有申请的员工都在简历中声称自己会西班牙语。但是，简单地说自己会说西班牙语只是一个没有成本的信号。为此，雇主可以启动一个“西班牙语争章活动”，要获得一枚徽章，需要用西班牙语完成一个小时的演示。对于真的熟练掌握了西班牙语的员工，发出这个信号，也就是用西班牙语完成演示的成本较低。但是对于那些不懂西班牙语的员工来说，准备长达一个小时的西班牙语演示的成本却高得令人望而却步。用信号模型的术语来说，这个徽章就将熟练西班牙语的人与不懂西班牙语的人区分开来了。
接下来，我们简单地介绍一个连续的信号模型。在这个模型中，信号的大小是可变的。一个夏令营的皮划艇队一般只能有一个领划的皮划艇运动员，人们希望在这个位置上的是一个耐力非常好的人，那么，怎样才能挑选出这样一个人来呢？营地主管可能会要求两个提出申请的选手连续划皮划艇10个小时，以便将皮划艇划到尽可能远的距离上。那两个皮划艇运动员中耐力更强的那个选手可以划到另一个实力较弱的选手无法企及的距离上，从而让自己脱颖而出。
离散信号模型和连续信号模型都能为我们提供信号什么时候分离、什么时候不能分离的条件。因此，它们给我们提供了比文字描述更加准确深入的见解。文字描述能够告诉我们，人、动物、政客和政府发出了什么信号和为什么要发出信号，但是却不能向我们明确表征信号发出的时间和信号的强弱。这些模型还可以非常清晰地解释，为什么学生会如此努力地试图证明自己对学院的价值。在本章的结论中，我们讨论了信号模型的理论贡献及其政策含义，还将讨论生态学、人类学下的信号模型，以及商业活动中的信号模型应用。
离散信号模型
我们从离散信号模型开始讨论。在这种模型中，人们要决定是否采取某种行动。你可以买一块昂贵的手表来证明你拥有大量财富，可以通过主修物理学来证明你智力超群，可以通过横渡英吉利海峡来证明自己身体健康。但是你不能半途而废：要么发送信号，要么不发送。这个模型假设，存在两种类型的人，强者和弱者。这两种类型在现实世界中，可以对应于身体健康有资格进入海军陆战队的年轻人和身体孱弱的人，也可以对应于会两种以上外语的员工和只会本国语言的员工，等等。
发送信号的成本取决于个体的类型。这里所说的信号，可能是为有可能成为海军陆战队员的申请人提供的为期一个月的魔鬼训练计划，也可能是求职者用西班牙语完成的长达一个小时的演示。强健的准海军陆战队员会发现完成训练计划的成本更低。在模型中，我们假设发送信号的每个人可以平等地分享总收益。对于这个假设，可以从两个角度加以解释。在某些情况下，某种资源可能会在发送信号的所有人之间分配。例如，向学校捐赠了1 000美元的每个人（捐赠是慷慨的信号）的名字都会被刻在一面墙上。在另外一些情况下，例如对于准海军陆战队员和求职者，则可以从发送信号的人的集合中随机挑选一些出来作为“中奖者”。
这个模型支持三种不同的结果：混同（pooling），所有人都发送相同的信号；分离（separating），每种类型的人各自发送一个独特的信号；部分混同，其中一些类型区分开来了，其他类型则没有区分开来。
离散信号模型
一个规模为N 的种群由S 个强者类型的个体和W 个弱者类型的个体组成；这两种类型的个体发送信号的成本分别为c 和C ，且c <C 。种群中所有发送信号的成员平均分配B 的收益（B >0）。这个模型有三种可能的结果：
混同 ：两种类型的个体都发送信号。
分离 ，且 ：只有“强者”类型的个体发送信号。
部分混同 ：“强者”类型的所有个体和“弱者”类型的部分个体发送信号。
在这个模型中，我们假设个体在给定其他个体行动的情况下做出最优选择。也就是说，我们将它视为一个博弈，并求解它的均衡。在混同均衡中，每个人都发出信号，如果收益很高并且弱者类型的人发送信号的成本较低，就会存在这种均衡，确切的条件是收益除以人数的商必须超过弱者类型的人的成本。例如，假设一位捐助者捐赠了100万美元设立了一个奖学金，用于奖励某所高中所有100名毕业生。假设有50名学生属于强者类型，只需每周学习两小时就能够从高中毕业，而另外50名学生则属于弱者类型，每周必须花费10小时学习才能完成高中学业。对于强者类型的学生，我们可以将学习成本估计为2 000美元，而对于弱者类型的学生，学习成本则为5 000美元。如果所有100名学生都顺利毕业，那么每人都可以获得10 000美元的奖学金。因此这两种类型的学生都有很强的动机去学习。
但是，如果假设我们将奖学金总额减少到了20万美元。现在，如果所有100名学生都顺利毕业，那么每人都只能获得2 000美元的奖学金。这样，学习就不再符合弱者类型学生的自身利益了。而对于强者类型的学生来说，现在每人可以得到4 000美元奖学金了，因此学习仍然是有意义的。但是，这个数额仍然不足以诱导弱者类型的学生毕业，哪怕只有一个都不可能。在这种情况下，奖学金的设置导致了分离均衡。
最后，假设奖学金的总额为40万美元。再一次，如果所有100名学生都毕业，那么弱者类型的每个学生的所能得到的奖学金为4 000美元，低于5 000美元。因此，他们不会全都选择学习。但是，如果弱者类型的学生都不学习，那么强者类型的学生每人将会获得8 000美元的奖学金，这个数额对弱者类型的学生来说也很有吸引力。因此在均衡中，最终将会有30名弱者类型的学生与所有50名强者类型的优秀学生一起毕业。结果是总共有80名学生毕业，每人得到5 000美元的奖学金，这也正是弱者类型的学生的学习成本。我们将这种结果称为部分混同，因为有部分弱者类型的学生与强者类型的学生混同在了一起。
部分混同均衡比其他两个均衡更加复杂，因为它需要弱者类型的学生实现彼此之间的某种协调。我们可以假设存在某个过程，弱者类型的学生会与其他人沟通，告诉别人自己计划采取能够确保毕业的行动。或者也可以假设弱者类型的学生的努力恰恰达到了这样一个水平：他们能不能毕业完全是随机的，并且该努力水平会导致30名弱者类型的学生毕业的期望。第二种情况似乎不那么合理。一般而言，我们应该将部分混同均衡解释为一个基准，即如果人们试图最优化，会发生什么。是否能达到部分汇集均衡，可能取决于具体情况，尤其取决于人们是否可以交流各自预期中的行动。
连续信号模型
在离散信号模型的部分混同均衡中，强者类型的人在有些时候可能会觉得沮丧。如果他们能够发出足够强烈的信号，就可以完全与弱者类型的人区分开来，并且获得更高的收益。为了在模型中包含这种可能性，我们可以改变假设并允许强者类型的人自行选择它们要发送的信号大小。这只需要对模型稍做修改即可。为此，我们将离散信号的发送成本重新解释为连续信号的每单位发送成本。此外，我们假设，对于任何固定数量的信号，强者类型的人每单位成本更低一些。
为了在这个新模型中实现分离均衡，强者类型的人必须愿意选择一个对于弱者类型的人来说成本极高的信号，当然条件是在考虑了收益和成本之后，这个信号仍然是值得发送出去的。通过模型推导，我们发现至少有一些强者类型是可以分离的，但不一定是全部。
令人惊讶的是，随着强者类型的群体规模的增大，信号的量级反而会变小。这种情况之所以会发生，是因为强者类型的人发送信号的好处减少了。成为规模更大的群体的一部分，能够得到的好处反而会更少。完全分离这个条件意味着，当强者类型的人数很少，或者强者类型的人发送信号成本要比弱者类型的人低很多时，分离均衡更有可能实现。
连续信号模型
一个规模为N 的种群由S 个强者类型的个体和W 个弱者类型的个体组成，两种类型的个体发送信号的单位成本分别为c 和C （C >c）。发送最大信号的所有个体分享利益B 。任何大小为 的信号都能够将强者类型分离开来。如果CW ≥cN ，那么所有强者类型都会分离开来。如若不然，就存在部分混同均衡，其中一部分弱者类型的个体也会发送信号。 2
这个模型可以解释，为什么昂贵的手表和珠宝能够作为财富的信号。一个人的房子或汽车也标志着其拥有的财富，但是人们无法随时随身携带房屋和汽车。衣服也可以发出财富信号，但是却可能无法创造分离。只要花上几百美元，任何一个人可以穿得像一个拥有大量财富的人。但由于成本很高，手表和珠宝作为财富信号会更加有效。一个穷人或中产阶级人士买不起售价一万美元的手表。戴这样的手表，足以证明自己拥有可观的财富。通过发送这样的信号能够获得的好处可能是，人们会更尊重他，假设人们认为财富在某种程度上与一个人的重要性相关的话（尽管有人可能会质疑这种推断）。
信号的用途和价值
信号能够把隐藏的属性突显出来。我们的行动标志着我们的健康、财富、智慧和慷慨。我们的一些行动产生了作为副产品的信号。一个纯粹是因为对长跑有兴趣而参加马拉松比赛的人，可能会传递出身体健康和做事专注投入的信号，尽管这可能这不是他的本意。信号模型为解释几乎任何行动提供了另一种视角。但是，一个人选择参加某种活动、学习掌握某种技能、购买某个商品，到底是完全出于个人兴趣，还是在发出某种信号呢？我们也许无法分辨。
例如，信号模型为大学文凭的价值提供了另一种解释。关于收入的大量数据表明，大学毕业生的工资显著高于没有接受过大学教育的人。我们可以推断，较高的工资源于大学期间获得的技能和知识。同时，相关数据还表明，数学和科学专业的大学毕业生工资更高。由此可以推断，在这些专业中学到的技能具有更大的经济价值。然而，如果认真观察一下人们所实际从事的工作，我们可能会发现很少有人在工作中需要使用微积分。而且，求职者在接受面试时，几乎从来没有人被问到过余弦函数的导数怎么求、玻意耳定律怎么解释。有鉴于此，我们可以推断大学学位，特别是科学和数学学位，代表了一个人获取知识能力的信号。毕业生获得的较高薪酬完全取决于学位的信号价值，而不是毕业生在大学期间所学到的知识。 3
可以考虑一下成为一名医生所必须发送出去的信号。医学专业的学生必须通过物理、有机化学和微积分等课程的考试。但是，医生看病是否使用微积分？医生在为你诊疗耳朵和鼻子的时候，会先在他的记事本上写出一个微积分方程吗？当然不是这样。在很大程度上，微积分知识与医生执业可能完全无关，但是它可能是医生掌握知识体系能力的良好信号。如果真的是这样，那么即便与从事的职业几乎没有任何直接相关性，通过微积分考试也会成为医生的一个有用的信号。
只要有可能，任何人在构建信号的时候，都更愿意在生成信号的同时也能掌握有用的技能。例如，事实证明，要成为一名成功的医生，记忆能力是很重要的。为了传递能够证明记忆能力的信号，面试者可能会要求申请人背出每个国家的首都和货币。成功地通过这项考核，能够证明申请人确实有很强的记忆能力，但是所记忆的这些内容对成为一名好医生并无意义。当你觉得自己的肠胃非常不舒服，匆忙赶到急诊室时，你并不会在乎给你看病的医生是否知道布拉迪斯拉发是斯洛伐克的首都，你只是希望那个医生对消化系统的各个部分都了如指掌。出于这个原因，医疗委员会要求医生通过解剖学考试。通过解剖学考试能够证明一个人的记忆能力，而且记住身体的各个部位也确实是有用的。因此，通过解剖学考试是一个功能性信号（functional signal）。
小结
信号模型的应用范围非常广泛。如前所述，雄孔雀的美丽尾羽是它“身体健康”的信号。众所周知，雄孔雀装饰性极强的扇形尾羽几乎没有任何功能性价值，事实上，这种夸张的尾羽不但无用，而且可能还会给它们带来糟糕的结果。雄孔雀如果选择发展更强壮的爪子，有用性要高得多。但是，强壮的爪子很难让雌孔雀在很远的地方就注意到，这一点比尾羽差得太多了，因此尾羽在演化过程中胜出了。 4 雄性果蝇的彩色尾部也具有与雄孔雀的尾羽类似的功能，蚱蜢和鸟类的鸣叫声也是如此。啁啾需要付出可观的能量，只有吃饱了的蚱蜢才可以花时间啁啾而不用去忙着寻找食物。因此，啁啾声可以起到信号的作用。
在人类社会中，不同的文化会通过不同的行动来表明健康状况。人类学家区分出了三种形式的昂贵信号：无条件的慷慨（unconditional generosity），浪费性的维生方式（wasteful subsistence behavior）、精美的传统手工艺制品。 5 “夸富宴”是居住在太平洋西北地区的印第安土著居民举行的一种仪式，这可能是发送这种慷慨信号的最为突出的一个例子。为了庆祝一个事件，比如一个成员出生或去世时，酋长会送出大量的财富，甚至直接毁坏财富，并对其他酋长提出挑战，要求他们也做出同样的行为。其他酋长如果做不到，就会失去声望。将自己的财物赠予他人，还可以说是有利于社会，但是将它们毁坏无疑是极大的浪费。
事实上，当人们（通常是男性）在预期收益比采集种子或浆果更低时，仍然坚持远行狩猎时，就已经采取了浪费性的维生方式了。男人这样做是因为他们能够希望获得额外的尊重。狩猎成功，猎人就发出了说明他力量和勇气的信号，这在其他环境中也可能很有用。作为一名成功的浆果采集者，能够发送自己拥有良好的视力和耐心的信号，这些当然也是有用的个人特点，这一点毫无疑问，但是在很多方面的预测性能不如狩猎技能好。对生活在澳大利亚北部一个群岛上的梅里亚姆人（Meriam）的一项研究表明，平均来说，作为海龟猎手的男性居民，在50岁时存活的后代人数是其他同龄男性居民的两倍多。 6
复杂精美的传统工艺品制作需要付出非常多的时间和资源。当然，这种活动也可能生产出有用的物品，如地毯。但是，大多数传统工艺品都是没有太大实用价值的礼仪性物品。一些人类学家将这类传统工艺品的制作解释为信号的发送。创作生产这些物品的意义，不依赖于它们能够实现的功能，因这它们具有重要的文化意义。
很多广告也可以解释为昂贵的信号。例如，购买昂贵的超级碗总决赛的商业广告位，可以说是在发送关于自己产品的“合法性”信号。因为这意味着企业相信消费者会非常喜欢自己的产品，从而可以赚回足以覆盖广告成本的利润。想象一下，假设现在有两家企业分别推出了一款新咖啡机。第一家企业知道自己开发了一个“伟大”的产品。而第二家企业则知道，尽管自己的工程师付出了最大的努力，但是这个产品仍然可能会故障频出导致消费者大量投诉。第二家企业预计将会出现20%的退货率。
每一年，都会有数百万人购买咖啡机。如果不做广告，那么这两家企业可能会平分市场。假设生产出了更好产品的企业决定投入200万美元来宣传自己产品的质量。这家企业预计，在广告攻势下，早期购买者都会购买自己的产品，并且从长远来看，这又会导致更大的销量。这家企业的决策者的脑袋中，可能有一个波利亚瓮模型。相比之下，生产质量较差产品的另一家企业则不会花钱做这样的广告，因为它预计自己的产品应该不会非常畅销。花大钱来表明产品的质量，这种行为有时被称为“烧钱”（burning money）。就像雄孔雀用尾羽吸引到了潜在的配偶一样，企业通过“烧钱”吸引了消费者。
在所有这些情况下，发送信号都要付出成本。那些发出信号的人会发现，信号的成本，会导致他们更大的财富、能力以及慷慨个性被他人识别所能带来的好处而有所减少。此外，发送信号所耗费的时间和精力也可以被认为是一种机会成本：如果把这些资源用在其他用途上，可能会产生更大的社会盈余。例如，一个年轻人可能会花费数小时去决定穿什么衣服，以便表明自己的“社会意识”；或者，一个高中生可能会将大量时间和精力投入到某种“非生产性的”活动中去，因为他相信这样能够提高他被精英大学录取的机会。
为了减少发送信号的社会成本，我们应努力使信号尽可能有效地发挥作用。例如，最好是让年轻人通过参加团体性的运动来证明自己身体健康和勇敢，通过这种运动，他们能够学会体育精神和尊重集体利益，而不要让他们冒着生命危险从飞驰的摩托车上跳下以证明自己的勇敢。最好是要求医生记住人体解剖图谱，而不是考他们记得多少句《魔戒》的精灵语。
尽可能地多尝试吧。浪费性的信号肯定会继续存在。我们的挑战是利用模型，特别是机制设计工具，来构建制度和协议，以保证发送出去的信号确实携带了充分的信息。
26 学习模型
一个人可以养成的最重要的习惯就是对继续学习的渴望。
约翰·杜威（John Dewey）
本章研究个体学习模型和社会学习模型，我们会在两种情况下应用它们。第一种情况，如何学会在一个备选方案集合上做出最优选择。在这种情况下，个体学习和社会学习将会汇聚到最优选择上，而学习规则的不同只能影响收敛速度。第二种情况，如何在博弈中应用学习规则来采取适当的行动。在博弈中，某个行动的收益取决于本人和其他博弈参与者的行动。在这两种情况下，学习规则都更有利于规避风险的均衡结果而非有效率的均衡结果。我们还发现，个体学习并不一定会产生与社会学习相同的结果，而且任何一种学习都不可能在所有环境下都比另一种学习表现得更好。
这些发现为我们的主张——采用多模型方法来表征行为，提供了有力的支持。学习模型介于理性选择模型与基于规则的模型之间。理性选择模型假设人们会审慎考虑所处的环境和要完成的博弈，然后采取最优行动；基于规则的模型则直接根据规则来指定行动。学习模型假设人们会遵循规则，但是，正是这些规则使行为能够发生改变。在某些情况下，行为会趋向最优行为。在这些情况下，学习模型可以用来证明假设人们会采取最优行动的合理性。但是，学习模型也不一定会收敛到均衡，它们也可能生成循环或复杂的动态。而且，如果学习模型确实收敛了，它们可能会有比其他模型更多的均衡可以选择。
本章的内容安排如下。我们首先描述强化学习模型，并将这种模型应用于如何选择最优备选方案的问题。强化学习模型通过更高的奖励来强化行动。随着时间的推移，学习者会学会只采取最优行动。这是一个基准模型，非常适合研究学习模型。它与实验数据也拟合得相当好，而且不仅仅适用于人类。海蛞蝓、鸽子和老鼠，都会强化成功的行动。相比之下，强化学习模型也许更适用于海蛞蝓，它只有不到2万个神经元，而不那么适用于拥有超过850亿个神经元的人类。如此巨大的脑容量使人类能够在学习时考虑反事实，而这种现象是强化学习模型无法考虑的。
然后，我们介绍社会学习模型。在社会学习模型中，个体能够从自己的选择和他人的选择中学习。个体会复制最流行的或表现高于平均水平的行动或策略。社会学习假设行为者能够观察或沟通。有些物种是通过所谓的共识主动性（stigmergy）来实现社会学习的：成功的行动会留下其他个体可以追随的痕迹或残留物。例如，当山羊在群山间走动时，会留下被踩踏的草，从而强化了通往水或食物的路径。
接着，我们将这两种类型的学习模型应用于博弈分析。如前所述，博弈给出了一个更加复杂的学习环境。同样的行动，可能会在这一个时期内带来高收益，在下一个时期内却产生低回报。正如人们通常可以预料到的那样，我们发现社会学习模型和个体学习模型都不一定会收敛到有效的均衡，而且它们也可能会产生不同的结果。最后，我们讨论了一些更加复杂的学习规则。 1
个体学习模型：强化学习模型
在强化学习中，个体要根据各个行动的不同权重来选择行动。权重较大的行动比权重较小的行动更经常被选中。分配给某个行动的权重取决于这个个体在过去采取这个行动时所获得的奖励（收益）。这种高回报收益的强化可以导致个体选择更好的行动。在这里，我们要探讨的问题是，强化学习是不是会收敛为只选择具有最高奖励（收益）的那个备选方案。
乍一看，只选择最有价值的那个备选方案似乎是一个非常容易完成的微不足道的任务。如果奖励是完全以数值形式来表示的，例如金钱的数额或时间的长短，那么我们有理由相信人们会选择最好的那个备选方案。在第4章中，我们就是用这种思路来说明一个在洛杉矶工作的人在选择通勤路线时会选择最短的路线。
但是，如果奖励没有采用数值形式（通常情况下都是如此），人们就必须依赖自己的记忆。我们在一家韩国餐厅吃过一次午餐，发现那里的泡菜很美味，所以我们更有可能再次光顾那家餐厅。星期一，我们在跑步前一小时吃了燕麦饼干，结果发现我们连续跑上10千米都不觉得累。如果星期三，我们又在跑步前吃了燕麦饼干并且步履如飞，我们就会加大这个行动（跑步前吃点燕麦饼干）的权重，因为我们已经知道燕麦饼干可以改善跑步成绩。
除了人类之外，其他物种也会这样做。早期研究学习的心理学家爱德华·桑代克（Edward Thorndike）设计了一个经典实验。在这个实验中，一只通过拉动杠杆逃离了箱子的猫得到了奖励。在回到箱子中之后，这只猫在几秒钟内就再次拉动了杠杆。桑代克得到的数据表明，猫会持续进行尝试。他发现猫（以及人）在奖励增大时学习得更快。他将这个规律称为效果律（law of effect）。 2 桑代克的这个发现是有神经解剖学基础的。重复一个行动会构建出一个神经通路，而这个神经通路在未来会引发相同的行为。桑代克还发现，更出人意料的奖励，也就是远远超出过去奖励水平或预期奖励水平的奖励，会使人们学习得更快，他把这个规律称为惊奇律（law of surprise）。 3
在强化学习模型中，分配给一个所选备选方案的权重，是根据该备选方案在何种程度上超过了预期，即“渴望水平”（aspiration level）来进行调整的。这样的模型，既考虑了效果律，也就是会采取那些能够更经常地产生更高回报的行动，也考虑了惊奇律，也就是对某个备选方案赋予的权重取决于它所带来的奖励超过了渴望水平的程度。 4
强化学习模型
假设一个由N 个备选方案组成的集合{A ，B ，C ，D ，…，N }、与各备选方案对应的奖励的集合{π （A ），π （B ），π （C ），π （D ），…，π （N ）}，以及一个严格为正的权重的集合{w （A ），w （B ），w （C ），w （D ），…，w （N ）}。那么，选择备选方案K 的概率如下：
在选中了备选方案K 之后，w （K ）会增大γ ×P （K ）×（π （K ）-A ），其中γ >0等于调整速率（rate of adjustment），A <max K π （K ）等于渴望水平。 5
这里需要注意的是，渴望水平必须设定为低于至少一个备选方案的奖励水平。否则，被选中的任何一个备选方案在未来再次被选中的可能性会很低，而且所有备选方案的权重都会收敛到零。不难证明，如果渴望水平低于至少一个备选方案的奖励水平，那么最终几乎所有权重都会被赋予在最优备选方案上。之所以会发生这种情况，是因为每选择一次最优备选方案，权重的增加幅度都会最大，从而给这个备选方案创造了更强的强化。
即便我们将渴望水平设定为低于任何一个备选方案的奖励水平，这种情况也必定会发生。在将渴望水平设定为低于任何一个备选方案的奖励水平时，每种备选方案被选中时权重都会有所增加；因此，这个模型可以用来刻画习惯形成：之所以更频繁地做某件事情，只是因为我们在过去已经做过这件事情。而且，即便将渴望水平设定得很低，会带来最高水平奖励的那个备选方案也会以最快的速度增加权重，因此从长远来看，最优备选方案将会胜出。但是，要收敛到最优备选方案上，所需的时间可能会很长。另外，当我们增加了更多的备选方案时，收敛时间也会变长。
为了避免这些问题，我们可以构造内在愿望（endogenous aspiration）。为此，我们修改上面的模型，将渴望水平设置为平均奖励，从而让它随时间推移而不断调整。想象一下，假设父母试图确定自己的孩子到底是更喜欢苹果薄饼还是香蕉薄饼。设定选择苹果薄饼的奖励为20，选择香蕉薄饼的奖励为10，并将两个备选方案的初始权重都设置为50，将调整速率设定为1，并将渴望水平设定为5。假设父母在第一天准备的是香蕉薄饼，这样香蕉薄饼的权重将增加到55。假设父母在第二天也准备了香蕉薄饼，那么10的奖励等于新的渴望水平，香蕉薄饼的权重不会改变。
假设父母在第三天准备了苹果薄饼。这会带来20的奖励，超出了渴望水平。这会使苹果薄饼的权重增加到60，从而使苹果薄饼变成了更可能被选中的备选方案。更高的奖励也提高了平均收益，因而也使渴望水平上升到了10以上。因此，如果父母再一次准备香蕉薄饼，香蕉薄饼的权重就会减少，因为香蕉薄饼的奖励水平已经低于新的渴望水平了。也就是说，强化学习将收敛为只会选择苹果薄饼。
我们很容易就可以证明，强化学习将趋向于以概率1选择最优备选方案。这个结论意味着，与所有其他备选方案的权重相比，最优备选方案的权重将会变得任意大。
强化学习的效果
在学会选择最优备选方案模型的框架中，当渴望水平被设定为等于平均获得的奖励时，强化学习（最终）几乎总是会选择最优备选方案。
社会学习模型：复制者动态
强化学习假设个体是孤立采取行动的。但是，人们也会通过观察他人来学习。社会学习模型假设个体能够观察到他人的行动和奖励，这可以加快学习速度。现在学界研究得最充分的社会学习模型是复制者动态（replicator dynamics），它假设采取某个行动的概率取决于该行动的奖励和它的受欢迎程度。我们可以将前者称为奖励效应（reward effect），把后者称为从众效应（conformity effect）。 6 在大多数情况下，复制者动态模型都要假定一个无限种群。在这个假设的基础上，我们可以将所采取的行动描述为各种备选方案之间的概率分布。在标准的复制者动态模型中，时间是不连续的，所以我们可以通过概率分布的变化来刻画学习。
复制者动态
假设一个由N 个备选方案组成的集合{A ，B ，C ，D ，…，N }、与各备选方案对应的奖励的集合{π （A ），π （B ），π （C ），π （D ），…，π （N ）}。在时间t ，一个种群的行动可以用这N 个备选方案上的概率分布来描述：（P t （A ），P t （B ），…，P t （N ））。且这个概率分布随如下复制者动态方程而变化：
其中， 等于第t 期中的平均奖励。
考虑这样一个例子，父母可以选择准备苹果薄饼、香蕉薄饼和巧克力薄饼。假设所有的孩子都有同样的偏好，再假设这三种薄饼分别能产生20、10和5的奖励。如果最初有10%的父母制作苹果薄饼、70%的父母制作香蕉薄饼、20%的父母制作巧克力薄饼，那么平均奖励等于10。应用复制者动态方程，在第2期中选择三个备选方案中的每一个的概率如表26-1所示：
表26-1 备选方案概率
复制者动态方程告诉我们，在接下来一段时间里，制作苹果薄饼的父母的比例将会增大到原来的两倍。这是因为苹果薄饼的奖励等于平均奖励的两倍。而制作巧克力薄饼的父母将会减少，因为巧克力薄饼的奖励只相当平均水平的一半。最后，制作香蕉薄饼的父母的比例则不会改变，因为香蕉薄饼的奖励恰恰等于平均奖励。结合所有这些变化，我们发现平均奖励增大到了11.5。
如前所述，复制者动态同时包括了从众效应（更受欢迎的备选方案更有可能被复制）以及奖励效应。从长期来看，奖励效应占主导地位，因为高奖励的备选方案总是会与奖励水平成比例增长。在复制者动态中，平均奖励发挥的作用，与强化学习中当渴望水平随着平均奖励水平而调整时、渴望水平所发挥的作用类似。两者之间唯一的区别是，在复制者动态中，我们要计算整个种群的平均奖励，而在强化学习中，渴望水平等于个体的平均奖励。只要种群是一个相当大的样本，这种区别就是很重要的。因此，复制者动态产生的路径依赖要远小于强化学习。
在构建复制者动态时，我们需要假设每个备选方案都已经存在于初始种群中。由于最高奖励的备选方案总是具有高于平均奖励水平的奖励，而且它的比例在每个时期都会增加，因而复制者动态（最终）会收敛到整个种群都选择最优备选方案的结果。 7 因此，在这种学会选择最优的环境中，个体学习和社会学习都会收敛到拥有最高奖励水平的那个备选方案上。但是在博弈中则不一定会这样。
复制者动态能够学会最优行动
在学会从一个有限的备选方案集中选择最好的备选方案的过程，无限种群复制者动态几乎总是收敛到整个种群都选择最优备选方案。
博弈中的学习
现在，我们将两种学习模型应用于博弈。 8 请先回想一下，在博弈中，博弈参与者的收益不仅取决于他自己的行动，同时也取决于其他博弈参与者的行动。某个特定行动的收益，例如在囚徒困境中的合作，可能会在一个时期内很高而在下一个时期却很低，这取决于另一个博弈参与者的行动。
我们先从油老虎车博弈（Guzzler Game）开始讨论。这是一个双人博弈，每个博弈参与者都必须选择是驾驶一辆经济型汽车还是一辆高油耗但很坚固的车。选择高油耗的车总能带来2的收益。当一个博弈参与者选择经济型汽车，另一个博弈参与者也选择经济型汽车时，双方都可以得到3的收益，因为两个司机都会有更好的视野，汽车耗费燃油也更少，而且都不必担心被巨大的耗油量压垮。但是，如果另一位博弈参与者选择了油老虎车，那么驾驶经济型汽车的博弈参与者必须非常注意那个人的行为。为了刻画这种影响，我们假设在这种情况下，驾驶经济型汽车的博弈参与者的收益会降低为零。图26-1中给出了这个收益矩阵。
图26-1 油老虎车博弈
这个油老虎博弈有两个纯策略均衡：两个博弈参与者同时选择经济型汽车，或者两个博弈参与者同时选择油老虎车。 9 双方都选择经济型汽车的这个均衡会带来更高的收益，这是这个博弈中的有效均衡。
我们先假设，这两个博弈参与者都会进行强化学习。图26-2给出了4个数值实验的结果，其参数为：每个行动集的初始权重都等于5、渴望水平为零、学习速度（γ）为1/3。在这所有4个数值实验中，两个博弈参与者都学会了选择油老虎车，即低效率的纯策略均衡。为什么会这样？为了分析这种情况发生的原因，只需要看一看收益矩阵即可。选择油老虎车的博弈参与者总能得到2的收益；而选择经济型汽车的博弈参与者则有时会得到3的收益，有时则什么也得不到（收益为零）。根据假设，两个行动在初始人口中出现的概率是相等的。因此，选择经济型汽车的平均收益仅为1.5，而选择油老虎车的平均收益则为2。于是就会有更多的博弈参与者选择油老虎车，而这又使选择经济型汽车的收益进一步下降。
图26-2 油老虎博弈中的强化学习：选择油老虎车的概率
接下来，我们将复制者动态应用到这个博弈中来。我们假设初始人口由相同比例的选择油老虎车和经济型汽车的人组成。然后进一步假设每个博弈参与者与每个其他博弈参与者博弈。选择油老虎车的人会获得更高的收益，因为最初选择每种行动的人的数量相等，所以在第二期会有更多的人选择油老虎车。 10 如果再次应用复制者动态方程，那么选择油老虎车的博弈参与者的数量将会进一步上升。持续不断地应用复制者动态方程，最终将导致所有的人都选择油老虎车。图26-3显示的是对一个有100名博弈参与者的油老虎车博弈，运用离散复制者动态进行4个数值实验的结果。
图26-3 油老虎博弈中的复制者动态（100名博弈参与者）：选择油老虎车的概率
由于假设了有限种群，所以要引入少量随机性，这样采用每个行动的比例可能不完全等于复制者动态方程所给出的比例。在这4个数值实验中，所有博弈参与者全都只在过了7期之后就都选择了油老虎车。收敛之所以如此迅速地发生，原因在于从众效应和奖励效应促使人们在第一期后尽快选择油老虎车。例如，当90%的人选择了油老虎车时，选择经济型汽车的人的收益将低于选择油老虎车的人的收益的1/6。从众效应极大地放大了奖励效应，使社会学习比个体学习更快。在个体学习中，平均来说要花费100多期才能达到99%的人都选择油老虎车的情况。
在这个博弈中，两个学习规则都收敛到了选择油老虎车上，这是因为当两个行动的可能性相同时，选择油老虎车有更高的收益。这种行动被称为风险主导。两种学习规则都更“青睐”风险主导均衡而不是有效均衡。接下来，我们还要再构造一个博弈模型，在那里，这两个学习规则将收敛于不同的均衡。
慷慨／妒忌博弈
我们要讨论的下一个博弈，慷慨／妒忌博弈（the generous/spiteful game），建立在一个备受关注的人类行为倾向的基础上：我们更加关心的是绝对收益，还是相对收益？假设一个人在以下两个奖金分配方案中选择前者，那么他就是更关心绝对收益：（1）所有同事都能获得15 000美元的奖金，而他自己只能得到10 000美元；（2）所有同事都只能得到5 000美元的奖金，而他自己却能够得到8 000美元。相反，宁愿得到更少奖金（在上面两个奖金分配方案中选择后者）的人则更关心相对收益。这种更关心相对收益的偏好，在“居心险恶的人与魔法灯”的寓言故事中得到了很好的体现。
居心险恶的人与魔法灯
在一次考古探险中，一个居心险恶的人发现了一盏青铜灯。他擦了一下灯，结果召唤出了一个精灵。精灵说：“我会赐予你一个愿望，因为我是一个仁慈的精灵。我可以给你想要的任何东西！不但如此，对于你认识的每一个人，我都将给予他们给你的两倍。”这个居心险恶的男人仔细想了一会，然后抓起了一根棍子，递给那个精灵，说：“好吧。现在请你抠出我的一只眼睛吧。”
这个居心险恶的人所采取的这个行动，在带给他一个很低的绝对收益的同时，又给了他一个高的相对收益。 11 在外交事务中也会出现类似的紧张局势。新自由主义者认为，每个国家都希望最大化自己的绝对利益，这可以用军事力量、经济繁荣和国内稳定来衡量。但是另外一些人，他们通常被称为新现实主义者，却认为各国更重视的是相对利益，即一个国家宁可只能获得较低的绝对利益，但是一定要比自己的敌人更强。在冷战高潮期间，新现实主义者肯尼思·华尔兹（Kenneth Waltz）这样写道：“各国首先关心的不是最大化自己的力量，而是要维持他们在国际体系中的地位。” 12
我们可以将绝对收益与相对收益之间的这种潜在冲突嵌入到一个N 人博弈中。在这个博弈中，存在两类行为，一种行为是“慷慨大度”的，它在增加行为者自己绝对收益的同时，也会增加其他人的收益；另一种行为则是“妒忌狭隘”的，它只会增加行为者自己的收益。这个博弈不同于集体行动博弈。在集体行动博弈中，慷慨大度是要付出成本的。 13 在这个模型中，慷慨的行动是占优策略：无论其他博弈参与者采取的行动是什么，选择慷慨行动的博弈参与者都能获得更高的收益。然而，选择妒忌行动的博弈参与者得到的收益却比选择慷慨行动的博弈参与者更高。
这些陈述，乍一看似乎是自相矛盾的，其实不然。通过选择慷慨的行动，这个博弈参与者能够将自己的绝对收益提高3，而且同时也会将所有其他博弈参与者的收益提高2。而选择妒忌行动的博弈参与者则只能使自己的收益提高2，而且不能提高其他博弈参与者的收益。因此，每个博弈参与者都能通过选择慷慨的行动来提高自己的收益。相反，当一个博弈参与者选择妒忌的行动时，他反而会降低自己本来可以得到的收益，而且（这是关键假设）会使其他人的收益下降得更多。
