李雅普诺夫函数
给定一个离散时间动态系统，它的转移规则由x t +1 =G （x t ）组成。对于实值函数F （x t ），如果对于所有的x t ，都有F （x t ）≥M，而且存在一个A >0，那么下式成立，这个实值函数F （x t ）是李雅普诺夫函数：
F （x t +1 ）≤F （x t ）-A ，如果G （x t ）≠x t
如果对于G ，F 是一个李雅普诺夫函数，那么从任何x 0 开始，必定存在一个t *，使G（x t * ）=x t * ，即该系统会在有限时间内达到均衡。
首先为逐底竞争博弈构建一个李雅普诺夫函数。这个函数刻画了该博弈的博弈参与者的策略环境，以便每一个博弈者都更愿意提供恰好低于平均水平的水平。
逐底竞争博弈
有N 个博弈参与者，每个博弈参与者在每个时期都要提出一个支持水平，其取值范围为{0，1，…，100}。提出了最接近平均支持水平2/3的博弈参与者可以获得那个期间的奖励。
这个博弈可以用来解释美国各州政府削减社会项目支出的行为，例如减少对贫困人口的援助。没有任何一个州的州长或州立法机关希望公众认为自己冷酷无情，但是，又没有人愿意提供慷慨的援助贫困人口的计划，因为那会把邻州的穷人吸引过来。于是每个州都会提供一些资金，但只愿意提供低于平均水平的资金。在通过环境保护法规或制定税率时，相互竞争的国家也会有类似的动机。各国宁愿采取只对环境施加较少限制的政策，并且为了吸引企业投资，税率低于平均水平。
逐底竞争博弈是否能达到均衡，取决于博弈参与者的行为规则。如果博弈参与者随机选择支持水平，那么结果就将会是随机的。然而，考虑到这个博弈的收益结构，随机选择支持水平并没有意义。在这里，我们假设如下行为规则，这种规则与实验研究的结果一致。 1 在第一个时期，我们假设每个博弈参与者会随机选择一个低于50的支持水平。在以后各期中，每个博弈参与者选择的水平至少等于1且低于上一期平均水平的2/3。如果上一期的平均水平已经小于零，那么每个博弈参与者都会选择零。
很容易证明，来自任何博弈参与者的最大支持水平满足李雅普诺夫函数的条件，即最大支持水平的最小值为零。而且，在每个时期内，如果支持水平采用整数值，那么最大支持水平至少会下降1。因此，到了某个时间点上，每个博弈参与者都会提议零支持水平。也就是说，博弈参与者在逐底竞争中都碰到了“底”。在这个例子中，模型产生了一个不好的结果。为了防止出现这种逐底竞争，必须改变博弈结构。例如，为了增加对贫困人口的扶持，法律可以规定由联邦政府来提供资金，或者对各州规定一个最低“扶贫”支出水平。 2
另外，假设我们允许博弈参与者在0至100的区间内选择任何实数值，而不是整数值。再假设在每一轮中，博弈参与者选择的支持水平等于上一轮平均水平的2/3，那么平均支持水平将会随着时间的推移而逐渐降低，但是永远不会达到零的均衡。正如色诺悖论（Xeno's paradox）一样，这个过程会越来越接近于零，但是却永远不会达到零。因此，为了确保均衡的实现，还必须假设一个最小减量（A ）。
局部多数模型
现在，用李普雅诺夫函数分析一下局部多数模型。我们将局部多数模型中的李雅普诺夫函数定义为总体中的总不一致性（total disagreement），即与相反状态的元胞相邻的所有元胞数量的总和。为了证明这个模型必定会达到均衡，我们必须先证明，如果一个元胞改变了自己的状态，那么总不一致性至少会下降一个固定的数量。
这个证明的数学过程并不太复杂。首先，如果一个元胞改变了自己的状态，那么相对于它的邻居而言它必定是少数。由此我们知道，那时它至少有5个邻居处于相反状态，最多有3个邻居处于相同状态。因此，当这个元胞切换状态后，与这个元胞不一致的元胞数量至少减少了两个（图16-1）。为了计算总不一致性的变化，还必须将与这个元胞相邻的元胞对总不一致性变化的贡献考虑进去。由此，那5个或更多的现在状态一致的元胞的不一致性减少了（每个元胞减少1），同时之前状态一致的那3个或更少的元胞现在则具有更高的不一致性了（每个元胞增加1）。因此，所有相邻元胞的总不一致性至少下降了4。
图16-1 局部多数模型中总不一致性的减少
这样一来，我们就证明了，即使某些元胞可能带来更多的不一致性，总不一致性也满足李雅普诺夫函数的条件。因此，局部多数模型必定会收敛到均衡，不仅仅是有些时候或大部分时候，而是所有时间都是如此。我们还可以确定收敛的速度：无论什么时候一个元胞改变自身的状态，总不一致性至少会下降4。由此可知，一个总一致性为100的配置，必定会在25个时期内达到均衡。换句话说，一个总一致性为D的配置，必定会在D/4个时期内达到均衡。正如我们在第15章中已经指出过的，实现的均衡几乎总是一个低效率的斑块状模式，它包括了不少受挫的元胞。
自组织活动模型
接下来，讨论李雅普诺夫函数的下一个应用。这一次，我们要证明自组织活动模型中也存在均衡。这个模型中由一群人和每个人可以选择去做的活动的集合组成。这个模型的关键假设是，每个人都更偏好不那么拥挤的活动，例如，更少人参加同一项活动意味着在健身房不用等待、在面包店和咖啡店不用排队。
这个模型的灵感来自著名经济学家托马斯·谢林（Thomas Schelling）的著作《微观动机与宏观行为》（Micromotives and Macrobehavior ）。谢林在这本书中描述了城市中出现的各种令人叹为观止的自组织现象：在几乎完全不存在中央计划者的情况下，交通模式、行人流量、停留在公园和餐馆的人数，以及商店库存，到底是怎样自动达到各自的适当水平的？街头那家小店，是怎么每天都能进到4瓶来自密歇根州锡达维尔原产的纯枫糖浆的？巷尾那家面包房，又是怎么做到每天都在关门前大约20分钟卖完当天制作的黑麦面包的？尽管城市内有如此多样性的行动者——游客、店主、居民和送货人等，而且他们对整个城市的信息所知有限，但这种秩序也会涌现出来。
自组织活动模型
一个城市里，有A 种活动可以参加，每一天都由L 个时间段组成。在人口规模为M 的城市中，每个人都要选定一个日程安排。在这里，日程安排是指这个人在L 个时间段内分配L 种活动（从一个更大的K 种可能性的集合中）。一个人要面对的拥挤水平则设定为等于同时选择同一种活动的其他人的数量。
为了证明这个模型是收敛的，我们要证明总拥挤度（total congestion），也就是整个人群拥挤水平的总和满足李雅普诺夫函数的条件。当一个人降低了他的拥挤水平时，就会降低自己对总拥挤度的贡献，并且会使他不再遇到的每个人的拥挤水平减少1，同时使他新遇到的每一个人的拥挤水平增加1。既然他降低了自己的拥挤水平，第一组人的数量会比第二组人更多。例如，假设一个人原本在早上8点去一个拥挤的健身房，在下午4点去一个拥挤的咖啡馆，如果她改为在上午8点去咖啡馆，并在下午4点去健身房，结果发现在上午8点那个时段咖啡馆几乎是全空的，健身房在下午4点时只是有一点点拥挤，那么她降低了自己以及之前遇到的所有人的拥挤水平。她确实使她现在遇到的少数人提高了拥挤水平，但是总拥挤度却下降了（而且至少减少了1）。既然总拥挤度不可能低于零，系统必定会达到均衡。
虽然，一般来说，我们无法保证系统能够找到一个有效率的均衡，但是这种自组织活动模型几乎总能收敛到总拥挤度近乎最小的配置。而在效率低下的配置中，更多人选择在同一个时间段参加某一项活动（比如去健身房），而不是去参加另一项活动（比如去咖啡馆）。如果在这两项活动中拥挤程度的差异很大，那么一个人就可以通过切换自己去健身房和咖啡馆的时间来降低拥挤水平。如果咖啡馆和健身房在另一个时间段有相同数量的人前往，这种切换就可以减少总拥挤度。 3
这个模型可以解释当今世界的很多秩序，它可以让我们更加深刻地理解城市如何在没有中央计划者的情况下通过自组织实现近乎完全有效的配置。它还告诉我们，为什么许多游乐园，比如迪斯尼，却做不到这一点。迪斯尼每天都有新的入园参观者，他们没有时间去尝试新的路线。如果没有“中央计划者”的帮助，迪斯尼将会出现某些景点大排长龙，同时其他景点门可罗雀的情况。因此，为了减少这种低效率状况的出现，迪斯尼对于某些特定的景点，只允许游人提前预约在特定时间内进入，同时让员工引导人们参观不那么拥挤的其他景点。
纯交换经济
我们也可以使用李雅普诺夫函数来探索纯交换经济什么时候可以达到均衡、什么情况下可能无法实现均衡。纯交换经济由一个消费者集合组成，每个消费者都有自己的商品禀赋和偏好。对此，我们可以设想，一群人在市场或集市上与他人交易一些东西，比如茄子、奶酪或地毯。每笔交易都需要双方付出一定的时间和精力。为了让双方有动力完成交易，每一方都必须有所获益，得到超过此交易成本的某个金额。
不过在这里，我们要做的不是直接构建一个总是按固定数量减少并具有最小值的李雅普诺夫函数。恰恰相反，我们要先证明，总幸福感（total happiness）总是按固定数量增加并具有最大值。根据假设，任何时候，只要双方完成交易，他们的幸福水平至少会提升与交易成本相当的数量。此外，由于每个人都拥有固定的商品禀赋，因此总幸福感有一个最大值。李雅普诺夫函数的假设得到了满足，系统可以达到均衡。但是，在这种均衡下，配置不一定是有效的。当然，既然不是有效的，那么市场上的一些人应该能够识别出一些让他们自己更幸福的交易。
在构建这一论点时，我们假设只有参与交易的人才有可能获得幸福（或不幸福）。但是在其他交易形式中，情况可能并非如此。试想一下，假设伊拉克与巴基斯坦达成协议，用自己的石油去交换巴基斯坦的核武器，那么这两个国家的领导人可能会因此而觉得更加幸福，但是从全球的角度来衡量，总幸福感肯定会下降，世界上其他国家可能会对伊拉克建立核武器库深感不安。
其他国家的人所感受到的这种影响被称为负外部性（negative externality）。当市场上的交易包含了负外部性时，交易就不一定能提高总幸福感了。在前面给出的那个纯交换经济的例子中，当人们交易水果、蔬菜、地毯和工具时，几乎完全不存在外部性。外部性的存在意味着我们不能直接说系统是不是会达到均衡。上面说的那种石油换核武器的交易可能会引发其他交易。例如伊拉克不断增加核武器储备，很可能导致沙特阿拉伯要求自己的盟国提供更多的军事支持，而这反过来又可能导致该地区的其他国家采取行动。在这类交易过程中，全球总幸福感或全球总安全性可能会随着每一个行动而波动不休，甚至不能确定这类交易会不会在某一点上停止。
李雅普诺夫函数在交易环境中是否存在，取决于负外部性的大小。我以前教过的一个本科生告诉我的一个例子，可以很好地说明这一点。她所服务的公司要搬进新的办公场所，其中有一个很大的房间，配有开放式办公桌，供分析师使用。她的经理提议给所有分析师随机分配办公桌，随后让他们自由进行“办公桌交易”。经理认为这可以导致一个很好的结果，因为他认为自由交易能够带来效率的提高。
这个学生却意识到，即便任何两个相互交易的人都变得更幸福了，他们的前邻居和新邻居也不一定会有同样的感受。如果一个人决定搬到房间的另一侧，那么他当前的邻居，特别是当这个邻居是特意选择在他旁边的时候，可能会感觉受到了伤害。而且，这位前邻居也许不喜欢新邻居，因为新邻居可能会在讲电话时大喊大叫。因此，这位前邻居也可能会选择搬工位。这种搬来搬去可能会持续很长时间，每个人的士气都可能因此而受到打击。这个计划看起来相当危险。组织需要自己的员工彼此信任并相互尊重，但是在通过办公桌交易远离对方的两个人身上，是很难维持这种关系的。当经理理解了这个模型后，就放弃了他的计划。 4
然而，故事并没有就此结束。这位经理还购买了各种风格和颜色的办公椅，计划随机分配椅子，让人们进行交易。在这种情况下，我的学生再一次使用模型思维告诉他，进行椅子交易不会产生负外部性，而且可以给员工带来不少乐趣。椅子交易是一个纯交换市场。这两种情况，对我们如何运用模型指导行动很有启发。纯交换市场适用于椅子，但是却不适用于办公桌。
没有李雅普诺夫函数的模型
有的时候，我们尝试为模型构造李雅普诺夫函数，但却无法取得成功，尽管如此，我们仍然可以积累知识。通常，我们至少能够了解模型为什么不会产生均衡。在生命游戏中，某些配置会产生均衡，而其他配置则不能产生均衡。当某个配置确实产生了均衡时，就可以写出一个特定于该配置的李雅普诺夫函数。例如，在生命游戏中，采用对角线形式的任何初始配置，每个周期长度都会减少2，因为位于对角线两端的那两个活元胞会死去，并且没有任何新的元胞会变活。这个配置以所有元胞都死光而结束。对于这样的配置，活元胞的数量就是一个李雅普诺夫函数。如果从另一个配置开始，例如，能够产生复杂配置序列的“右五连”，就无法构造出李雅普诺夫函数来，因为系统不会达到平衡。
我们无法构建李雅普诺夫函数，并不意味着模型或系统肯定不能达到均衡。一些系统在所有已知情况下都能够达到均衡，但是没有人能够构造出李雅普诺夫函数。一个著名的例子是所谓的“取一半或乘三加一法则”（HOTPO），它也被称为考拉兹猜想（Collatz conjecture），看似简单，其实不然。“取一半或乘三加一法则”以整数开始，如果是奇数，就乘以3并加上1；如果是偶数，就除以2；当得到的结果等于1时，这个过程就停止。假设从数字5开始，由于这是一个奇数，所以将它乘以3并加1，得到16，然后，将16除以2得到8，8再除以2得到4，然后4再除以2得到2，最后得到1，达到了均衡。对于任何一个不到264 的数字，“取一半或乘三加一法则”都会止步于均衡。
然而，没有人能够证明“取一半或乘三加一法则”是不是最后总能达到均衡。坊间传闻，匈牙利数学家保罗·厄多斯（Paul Erdos）曾说：“对于这样的问题，数学还不够发达。” 5 数学家们无法确定“取一半或乘三加一法则”是否总能达到均衡，这说明了一个更普遍的真理：模型所能提供的，只是证明结果的可能性。我们无法保证肯定可以推导出它们，很多时候，我们提出了一个模型之后，最终却发现要证明结果非常困难（如果不是不可能的话）。
小结
在本章中，我们已经看到，李雅普诺夫函数不仅可以帮助我们证明一个系统或模型能不能达到均衡，还可以告诉我们达到均衡的速度有多快。即便构建李雅普诺夫函数的努力遭到了失败，这种尝试也是有意义的。它们可以提供一些关于复杂性成因的线索。具有外部性的纯交换经济以及所举的交易办公桌的例子都属于这种情况。在这种情况下，我们不能构建一个总是减少或总是增加的全局变量，因此，无法保证这些过程能够达到均衡。
回顾一下模型的7大用途——推理、解释、设计、沟通、行动、预测和探索，我们就会发现李雅普诺夫函数在每个用途上都有所帮助。如上所述，利用李雅普诺夫函数，我们可以推断出系统走向均衡的原因，还可以解释系统收敛到均衡的速度、设计信息系统（例如迪斯尼世界所采取的分时段游览的预约系统）、采取行动（例如对办公桌进行交易是不可取的）、沟通系统如何达到均衡的途径、预测系统达到平衡的时间以及进行探索。我们可以尝试提出假设和构建模型来解释一些令人惊讶的现象，例如自组织的城市。
17 马尔可夫模型
历史是一部循环诗，由时间写在人的记忆上。
珀西·比希·雪莱（Percy Bysshe Shelley）
马尔可夫模型用来刻画以一定概率在一组有限的状态之间不断转换的系统。政治体系可能在民主制度与独裁制度之间转变，市场可能在不稳定与稳定之间变化，一个人也可能在快乐、沉思、焦虑和悲伤之间转换。在马尔可夫模型中，状态之间转移发生的概率是固定的。一个国家在某一年从专制转向民主的概率可能是5%，一个人在一小时内从焦虑过渡到倦怠的概率可能是20%。此外，如果系统可以通过一系列过渡从任何一个状态转换为任何其他状态，并且不存在简单的循环，那么马尔可夫模型就可以达到唯一的统计均衡（statistical equilibrium）。
在统计均衡中，单个实体可以继续在各种状态之间移动，但是各种状态之间的概率分布仍然是固定的。例如，一个关于意识形态的马尔可夫模型，统计均衡允许人们在持自由主义立场、保守主义立场和中立立场之间转换，但是秉持每种意识形态的人口比例将保持不变。在应用于单个实体时，统计均衡意味着实体处于每种状态的长期概率不会改变。例如，当一个人处于统计均衡状态时，他在60%的时间内感到高兴，而在40%的时间里感到悲伤。这个人的精神状态可能每小时都会发生变化，但是他在这些精神状态之间的长期分布却不会发生变化。
这种独特的统计均衡还意味着，结果的长期分布不可能取决于初始状态或事件的路径。换句话说，初始条件是无关紧要的，历史也是无关紧要的，会改变状态的干预措施也不重要。随着时间的推移，满足这些假设的过程就会“不可抗拒地”走向那一个独特的统计均衡，然后保持不变。在这里，模型再一次揭示了条件逻辑：如果世界符合马尔可夫模型的假设，那么从长远来看历史并不重要。当然，马尔可夫模型并没有说历史永远是不重要的。首先，马尔可夫模型允许结果是路径依赖的，接下来会发生的事情将取决于当前的状态。其次，马尔可夫模型还允许对历史记录进行长期建模，但对于这种情况，模型的某个假设必定会被违背。
马尔可夫模型可以应用于很多领域。我们可以用马尔可夫模型来解释动态现象，例如民主转型、战争升级和药物干预，还可以用于对网页、学术期刊和体育运动队进行排名，甚至可以用来辨别书籍和文章的作者身份。本章将介绍其中一些应用。我们将从两个简要的例子开始讨论，接着描述证明统计均衡存在性的一般定理。然后，我们转而讨论马尔可夫模型的应用。在本章末尾，会根据我们所掌握的关于马尔可夫模型的知识，重新阐述历史是如何及何时重要的问题。
马尔可夫模型的两个应用
马尔可夫模型由一组状态与这些状态之间的转移概率构成。在第一个例子中，我们将某个人在某一天的精神状态描述为“充实”或“无聊”。这两种精神状态就是模型的两种状态。转移概率表征在状态之间变动的概率。我们可以假设，当精神上“充实”时，一个人有90%的机会继续停留在该状态上，同时有10%的机会变得“无聊”；而当“无聊”时，这个人有70%的机会继续觉得“无聊”，同时有30%的概率变成一个精神上的“充实”的人。
假设上面这些转移概率适用于100名修读生物学课程的学生。在这些学生中，第一天有一半学生觉得这门课程令他们很“充实”，另一半学生则觉得很“无聊”，如图17-1所示。应用上述转移概率，可以预计第二天，会有5名原本觉得“充实”的学生（10%）会变得“无聊”，同时会有15名原本觉得“无聊”的学生（30%）会变得“充实”。这样就会有60名觉得“充实”的学生和40名觉得“无聊”的学生。到第三天，这60名原本觉得“充实”的学生中应该会有6名感到“无聊”，同时应该会有12名原本觉得“无聊”的学生变成觉得“充实”，从而导致66名学生觉得“充实”、34名学生觉得“无聊”。继续运用这个转移规则，这个马尔可夫过程会收敛到75名学生觉得“充实”、25名学生觉得“无聊”的统计均衡。在这个统计均衡中，学生们会继续在这两种状态之间转移，但是处于每一种状态的学生的总数将保持不变。
图17-1 一个马尔可夫过程
与此不同，假设这个过程开始时，初始状态是所有100名学生都觉得“充实”，那么到了第二天，将只有90名学生仍然觉得“充实”。到第三天，觉得充实的学生会下降到84名。继续迭代这个过程可以发现，从长远来看，最终仍然会收敛到75名学生觉得“充实”、25名学生觉得“无聊”的统计均衡。这个模型得出了同样的统计均衡。
接下来讨论第二个例子。在这个例子中，我们将不同国家分为三个类别：自由的、部分自由的，以及不自由的。图17-2显示了当今世界上每个类别的国家的百分比，这个分类结果是根据美国自由之家（Freedom House）截止于2010年的数据（样本期间为35年）得出的。这幅图表示，民主化呈现出了明显的加速趋势。在过去的35年间，自由国家的比例上升了20%。如果这种线性趋势一直持续下去，那么到2040年，所有国家中将会有2/3以上是自由的，而到2080年，将会有8/9的国家是自由的。
图17-2 对全世界国家的分类：自由的、部分自由的和不自由的国家的百分比
马尔可夫模型会导致不同的预测。为了进行预测，我们将每一个周期的长度设定为5年，并根据过去的数据粗略地校准了转移概率（表17-1）。 1
表17-1 民主化的马尔可夫模型转移概率
如果使用1975年时属于每个类别的国家的百分比来初始化模型，那么如我们所料，校准后的模型几乎完美地匹配了2010年的实际分布：48%的国家是自由的，31%的国家是部分自由的，21%的国家是不自由的（在2010年，这三个类别的国家的实际百分比分别为46%、30%和24%）。如果继续运行这个模型，那么它预测2080年时的情况将会是这样：62.5%的国家是自由的，25%的国家是部分自由的，12.5%的国家是不自由的。
这个马尔可夫模型的预测似乎并不乐观，原因在于这样一个事实：线性投影假设没有考虑到自由国家既可以转变为部分自由的国家，也可以转变为不自由的国家。随着越来越多的国家变成了自由的国家，从自由的国家转变为不自由的国家的数量也在增加。在现实世界中，出现这种情况的原因是多方面的。首先，实现民主要求国家财政权力机构和行政机构有很高的执行能力。借用政治学家托马斯·弗洛雷斯（Thomas Flores）和伊尔凡·努尔丁（Irfan Nooruddin）的话来说，在某些国家或地区，民主可能不容易扎下根来。 2 在那些地方，我们有理由预期，会出现从自由国家转变为部分自由的国家的情况，马尔可夫模型也刻画了这种情况。
佩龙-弗罗宾尼斯定理
上面的这两个例子都会收敛到一个唯一的统计均衡，这并非偶然。任何一个马尔可夫模型，只要状态集是有限的、不同状态之间的转移概率是固定的、在一系列转移后能够从任何一个状态变换为任何其他状态，而且状态之间不存在固定的循环，就必定会收敛到唯一的统计均衡。
这个定理意味着，如果满足这四个假设，那么改变初始状态、历史和干预措施，都不能改变长期中的均衡。如果各个国家根据某个固定的概率在独裁统治和民主制度之间变换，那么对其中的某些国家强加民主制度，或对它们进行干预、鼓励民主化，从长期的角度来看不会产生什么影响。如果主流的政治意识形态的变动满足上述四个假设，那么历史也不能影响意识形态的长期分布。如果一个人的精神状态可以用马尔可夫模型来表征，那么鼓励和支持的话语都不会产生长期影响。
佩龙-弗罗宾尼斯定理（Perron-Frobenius Theorem）
一个马尔可夫模型必定收敛于一个唯一的统计均衡，只要它满足如下四个条件：
状态集有限： S ={1，2，…，K }。
固定转换规则： 状态之间的转移概率是固定的，即在每个周期中，从状态A转换为状态B的概率总是等于P （A，B）。
遍历性（状态可达性）： 系统可以通过一系列转换从任何状态到达任何其他状态。
非循环性： 系统不会通过一系列状态产生确定的循环。
需要强调的是，从佩龙-弗罗宾尼斯定理中得出的结论不应该说明历史是不重要的，而应该是：如果历史确实是重要的，那么必定会违背模型的其中一个假设。有两个假设，即状态集有限和非循环性，几乎总是成立的。遍历性似乎有可能会被违背，就像当盟国发动战争并且不能转变为联盟时，会出现非遍历性。尽管确实有一些这样的例子，但是遍历性通常也能成立。
状态之间的转移概率是固定的这个限制是最有可能被违背的假设。因此，这个模型表明，如果历史确实是重要的，那么必定存在某种潜在的结构因素改变了转移概率（或者改变了状态集）。考虑一下帮助贫困家庭摆脱困境的扶贫政策。事实证明，导致社会不平等的那些因素通常不会受到政策干预的影响。 3 同时，马尔可夫模型又表明，改变家庭状态的政策干预措施，例如旨在帮助成绩落后的学生的特殊帮扶计划，或者食物募捐活动，只能在短期内带来改善，不会改变长期均衡。相比之下，提供资源和培训，以提高人们保住工作的能力，进而减少从就业变为失业概率的干预政策则有可能会改变长期结果。无论如何，马尔可夫模型至少为我们提供了一些术语，使我们能够理解状态与转移概率之间的区别。它也告诉我们一个基本道理——与其改变当前状态，还不如改变结构因素，而后者更有价值。
销量-耐久性悖论
销量-耐久性悖论（sales-durability paradox）说的是，产品或创意的流行程度与其说取决于它们的相对销量，不如说取决于它们的耐久性。只需要将拥有某种类型商品的人的比例设定为状态，就可以用马尔可夫模型来解释这个悖论。在这里我们考虑两种不同的地板，一种是瓷砖（耐用品），另一种是油毡（销量更大的商品）。当销量更大的商品（在这里这个例子中是油毡）不那么占主流时，就会产生这种悖论。
在我们的模型中，假设油毡的销量是瓷砖的3倍。为了刻画耐久性差异，假设每年有1/10的人必须更换他们的油毡地板，而需要更换瓷砖的人则只有1/60。在由此而得到的马尔可夫模型的均衡中，有2/3的地板都是用瓷砖铺就的。 4
销量-耐久性悖论背后的逻辑，也可以用来解释市场份额与品牌忠诚度（某人改用其他品牌的产品的可能性）之间的正相关关系。在马尔可夫模型中，更低的品牌忠诚度在均衡状态时必然意味着更低的市场份额，因为忠诚度所起的作用就像耐久性一样。这种经验规律有时也被称为“祸不单行法则”（double jeopardy law）。如果一个企业的产品的品牌忠诚度较低，那么其销售量往往也较低。 5
一对多的马尔可夫模型
马尔可夫模型可以应用于各种各样的环境。我们可以用马尔可夫模型来对四种核酸之间的遗传漂变进行建模分析：腺嘌呤（A）、胞嘧啶（C）、胸腺嘧啶（T）和鸟嘌呤（G）。如果每种核酸都有很小且相等的概率成为其他三种类型之一的核酸，就可以写出一个刻画遗传漂变的转移矩阵。
我们也可以用马尔可夫模型对身体健康演变的轨迹进行建模，方法是将不同的健康类别（如优秀、中等和糟糕等）设定为不同状态。这样的模型可以用来评估药物治疗、行为改变和手术等健康干预措施如何转移概率和均衡分布。那些能够产生更好均衡的健康干预措施是值得追求的。 6
马尔可夫模型还可以用于识别国际危机的不同模式，并能够用于区分会导致战争的过渡与会带来和平的过渡。 7 不过，在这个领域的应用要求我们估计两种不同的模型：一种模型中，危机导致了战争，另一种模型中，战争爆发前实现了和解。如果这两个模型中的转移概率有显著差异，那就可以对现有的各种模式进行比较，例如轰炸、劫持人质、不交换囚犯以及逐步升级的强硬姿态等，然后看哪个过程对数据的拟合更优。
这种通过马尔可夫模型将不同模式区分出来的方法，还可以用来辨别书籍或文章的作者。只要事先已经确定了某个作者的某些已知著作，就可以估计出一个词之后出现另一个词的概率。例如，在本书中，单词the跟在for后面的次数，相当于单词example跟在for后面次数的四倍。我们可以将这类信息表示为一个大转移概率矩阵。本书的矩阵看上去肯定与其他人的书的矩阵有所不同。如果为Melville（梅尔维尔）和Morrison（莫里森）分别构建单词转移矩阵，那么我们肯定会看到它们在单词对之间的转换是不同的。 8
运用这种方法，我们可以通过构建模型来确定《联邦党人文集》（Federalist Papers ）所收录各篇文章的作者。《联邦党人文集》共收录了85篇文章，分别由亚历山大·汉密尔顿（Alexander Hamilton）、约翰·杰伊（John Jay）和詹姆斯·麦迪逊（James Madison）在1787年和1788年写成，目的是说服当时的纽约州民众支持美国宪法。每篇文章的署名，都用了统一的笔名“Publius”。尽管大多数文章的真正作者都已经确定了，但仍有少数几篇文章一直存在争议。
一项利用马尔可夫模型来辨别作者的研究认为，所有有争议的文章都是詹姆斯·麦迪逊写的。 9 即使汉密尔顿或杰伊写了这些文章，他们也是在模仿麦迪逊的风格。对哲学家阿琳·萨克森豪斯（Arlene Saxonhouse）发表的4篇论文和未发表的12篇短篇论文的分析结果表明，其中至少有3篇论文都有很高的概率可以归入霍布斯名下。 10 当然，在这两个例子中，模型都不一定能给出准确的答案。但是，这些模型确实生成了知识。我们要依靠自己的智慧做出判断：对这个模型与其他模型或直觉结论，该如何进行权衡。
我们要讨论的最后一个应用，是谷歌公司如何运用马尔可夫模型构造谷歌最初的网页排名（PageRank）算法。网页排名是万维网的搜索方式。 11 万维网由链接连接起来的网站组成，为了估计出每个站点的相对重要性，可以计算一个站点连入和接出的链接数量。在图17-3所示的站点网络中，站点B、C和E各有两个链接，A有一个链接，D没有链接。这种方法提供了对重要性的粗略估计，但是它有很大的缺陷。站点B、C和E都有两个链接，但是站点E看上去似乎比站点B更加重要，这是由它在网络中的位置决定的。
图17-3 万维网上站点之间的链接
网页排名算法将每个站点都视为马尔可夫模型中的一个状态。如果两个站点共享一个链接，那么就在这两个站点之间分配一个正的转移概率。我们暂且为任何链接分配相等的概率，也就是说，假设在A上的搜索者有同样的可能性移动到B或E上。如果搜索者来到了E上，那么将永远交替出现在C和E之间。或者，如果搜索者选择了B，那么他还是会去C，然后再一次开始在C和E之间交替出现。实际上，从任何站点开始都会导致交替出现在C和E之间这个结果。我们发现C和E似乎是更加重要的站点。然而不幸的是，这个模型不满足佩龙-弗罗宾尼斯定理的两个假设。该系统无法从任何站点到达任何其他站点：无法从C到达D，转移概率在C和E之间创建了一个循环。
为了解决这两个问题，谷歌公司的算法加入了一点：从任何站点都能够以一个很小的随机概率移动到任何其他站点，如图17-4所示。现在，这个模型就满足佩龙-弗罗宾尼斯定理的所有假设了，而且存在唯一的均衡。于是，所有站点都可以根据它们在那个均衡中的概率进行排序。一个从A开始的搜索者，最有可能在几次搜索后以到达C或E结束。一旦到达C或E之后，他将会在这两个站点之间反复来回，直到尝试前往一个随机站点为止。如果他到了A或者D，那么回到C的路径很可能会经过B或者E。因此，B的排名应该高于A或D。图17-5所示的唯一统计均衡表明，这个结论是正确的。A、B和D都很少被访问，其中，B的访问量最大。
图17-4 在站点之间添加随机移动
图17-5 网页排名模型的统计均衡
网页排名可以看作随机游走与马尔可夫模型的组合。如果将网页排名视为一种算法，就会发现可以用它来生成任何网络的排名。我们可以让节点代表棒球队或足球队，再用转移概率表示一支球队击败另一支球队的时间百分比。 12 如果球队之间只打一场比赛，那么可以根据胜率来分配转移概率。由此而得出的排名虽然不是最终的，但却是对专家主观评估意见的有益补充。我们还可以利用食物链数据，通过网页排名算法来计算物种之间的相对重要性。 13
小结
马尔可夫模型描述了以固定的转移概率在不同状态之间转换的动态系统。如果再假设这个过程能够在任何两个状态之间转移，并且这个过程不会产生循环，那么马尔可夫模型就可以得到唯一的统计均衡。在均衡中，人或实体在各个状态之间移动，但是各个状态的概率分布不会发生改变。由此可见，当一个过程接近均衡时，概率的变化就会减弱。用曲线图表示，就表现为曲线的斜率走平。回想一下，我们在讨论线性模型时对美国加利福尼亚州人口增长的讨论。加利福尼亚州的人口增长已经放缓，因为随着人口的增长，离开加利福尼亚的人数也在增加。即便离开的人数所占的比例没有发生变化，这个结论也是成立的。
在应用马尔可夫模型解释现象或预测趋势时，建模者对状态的选择至关重要。状态的选择决定了这些状态之间的转移概率。一个简单的关于药物成瘾行为的马尔可夫模型，可能只需要呈现两种状态：或者是药物成瘾者，或者是正常的人。而更精细的模型则可以根据使用频率来区分药物成瘾者。无论对状态的选择如何，如果上面的四个假设都成立（并且在这种情况下，关键检验将变为转移概率是不是能够保持固定不变），那么系统将会存在一个唯一的统计均衡。系统状态的任何一次性变化都最多只能产生一些暂时性的影响，减少均衡中的药物依赖必须改变其转变概率。
按照同样的逻辑，我们可以推断，那些试图通过为期只有一两天的活动来激发学生学习兴趣的做法，可能不会产生什么有意义的影响。与此类似，进入社区“送温暖”、来到公园“捡垃圾”的志愿者也可能无法带来什么长期收益。任何一次性的资金涌入，无论其规模大小，影响都会消失，除非它改变了转移概率。2010年，马克·扎克伯格（Mark Zuckerberg）向新泽西州纽瓦克市的公立学校捐赠了1亿美元，并吸引了不少跟风捐赠者。这种一次性捐赠，尽管摊到每个学生头上达到了大约每人6 000美元，但对考试成绩却几乎没有产生任何可衡量的影响。 14
马尔可夫模型是通过区分以下两类政策来指导行动的：一类政策能够改变转移概率，而改变转移概率可以产生长期影响；另一类政策只能改变状态，并且只能产生短期影响。如果转移概率无法改变，那么我们必须定期重置状态才能改变结果。沉溺于辛劳工作可能会产生导致好强、自私和压抑的心理状态转移概率，而每天锻炼、冥想或参加宗教活动则可能帮助人们以一个感恩的、富有同情心的、放松的心理状态迎接每一天。周末休息也有类似的功能，已婚夫妇不时过一过约会之夜也有很好的效果。这两者的共同作用是，能够暂时使一个人的状态远离均衡。
当然，并不是每个动态系统都满足马尔可夫模型的假设。在不满足马尔可夫模型假设的情况下，历史、干预政策和事件都可能会产生长期影响。例如，在波利亚过程中，结果改变了长期均衡。对系统的重大干预或冲击可能会改变转移概率甚至是整个状态集。蒸汽机、电力、电报或互联网等重大技术变革，改变了经济的可能状态集。重新界定权力架构或制定新政策的政治和社会运动，也会改变状态集。因此，我们也许更应该将历史视为一个马尔可夫模型序列，而不是视为一个向不可避免的均衡方向发展的过程。
马尔可夫决策模型
马尔可夫决策模型（Markov decision model）是对马尔可夫模型的一种修正，方法是将行动包括进来，行动会带来回报，而回报则以状态为条件，还会影响状态之间的转移概率。考虑到行动对转移概率的影响，最优行动并不一定是能够最大化即时回报的那个行动。
例如，要在上网与学习这两个行动之间做出选择。上网总能带来相同的回报。而当学生选择学习时，则有两种可能，既可能觉得充实，也可能觉得无聊。如果觉得充实，学习就可以获得高回报，如果觉得无聊，学习就只能获得低回报。
为了加入行动对转移概率的影响，假设一个觉得学习无聊的学生转为在上网时，仍然会处于无聊状态；而一个觉得学习充实的学生转为在上网时，有一半的时间会变得无聊。假设一个学习的学生有75%的机会在下一个时期处于觉得充实的精神状态，而无论他当前的状态如何。于是：
行动： 上网（U），学习（S）
状态： 觉得无聊（B），觉得充实（E）
奖励结构
转移映射
马尔可夫决策模型的解决方案由每个状态下采取的行动构成。之前讨论过的短视最优反应行为，在每个状态下都选择能够最大化奖励的行为。在现在这个例子中，这种选择对应于无聊时上网、精神充实时学习。
