确实,成功可能取决于非常微小的差异,正如美国作家约翰·厄普代克(John Updike)在描述棒球明星特德·威廉姆斯(Ted Williams)最后一次击球时所说的:“一件事情做得很好与搞砸了之间,只有极其细微的差异。” 11 假设你构思了一个新的笑话;只要让这个笑话更有趣一点点,就可能会把R 0 推到高于1的水平,从而使这个笑话广泛传播开来。同样的逻辑也适用于想法的“黏性”。如果一个想法能够在人们的思维中再坚持一小段时间,那么他们摆脱它的“痊愈”率就会降低,从而提高了R 0 。
当然,并不是所有情况都会位于阈值上。披头士乐队拥有巨大的才华,他们的R 0 肯定超过了1,尽管这只是一个猜想。对于现在的流行歌星,我们可以使用互联网下载量来估计他们的R 0 。流行歌星贾斯汀·比伯(Justin Bieber)的R 0 估计为24,这就是说,他的传染“毒力”比麻疹更强。 12
在SIR模型中,我们推导出了两个关键阈值,即R 0 和疫苗接种阈值。这两个阈值都是属于敏感依赖于环境的临界点,环境(情境)中的微小变化都会对结果产生很大的影响。这种临界点不同于直接临界点(direct tipping point)。在直接临界点,特定时刻的微小行动会永久性地改变系统的路径。直接临界点出现不稳定的点是,例如当球停在山顶上时。在任一方向上稍微推一下,都将会使球从山的这一侧或另一侧滚下去,这个小小推动是一个直接的倾覆。 13
而在依赖于环境的临界点上,参数的变化会改变系统的行为方式。在直接临界点上,未来的结果轨迹急转直下。折弯,例如由扩散模型产生的S 形采用曲线中的第一个弯曲,不满足这两种临界点的定义。采用曲线中的折弯对应于斜率增长率最大的点。在那一点上,扩散一发不可收拾,但是并没有发生倾覆。
图11-3显示了Google+发布后前两个星期的用户数。 14 从图中可以看出,在发布6天后,出现了一个折弯。在那一点上,扩散的过程正在顺利展开。从两个星期内就获得了超过1 600万用户这个结果来看,我们不能说Google+很早就陷入了困境,更不能说它在第6天就出现了直接临界点。将倾覆与急剧上升(下降)混淆起来,导致临界点这个术语被过度滥用了。新闻媒体和互联论坛上所说那些临界点,几乎有很少符合正式定义的。
图11-3 Google+用户数量上的一个折弯点(不是一个倾覆点)
我们不妨将肥胖症视为一种流行病来考虑。尽管人们不会像患上感冒那样感染肥胖症,但是他们可能会受到某种社会影响而做出一些容易导致肥胖的行为。 15 要想扭转肥胖这种流行病,我们必须降低它的R 0 。而要降低R 0 ,则可以通过降低接触概率或者提高分享概率和痊愈概率来实现。当然,在很多方面,用SIR模型来研究肥胖症的传播、学校辍学率或犯罪率,并不比经济学模型或社会学模型更好。它只是一个不同的模型,因此会给出不同的解释和预测,它也可能指向不同的行动或政策。它扩大了我们的模型集合,帮助我们更好地理解世界,但它不是解决问题的灵丹妙药。
在将广播模型、扩散模型和传染模型应用于社会现象时,我们可能会发现某些假设是成立的,而其他一些假设则不能成立。例如,在某种传染病的传播中,每一次接触导致该传染病传播的概率是独立的。但是在社交领域,由于采用本身也是一种选择,因此传染有可能会因更多的接触(曝光)而变得更有可能。流感不是我们选择的,我们只是得了流感。但是我们会选择买紧身牛仔裤,随着越来越多的人穿上了紧身牛仔裤,我们所有人都更可能穿紧身牛仔裤。类似的逻辑也适用于分析社交运动的参与率、新技术的采用率,甚至分析文身的人有多少。在这些情况下,我们可能必须对基本模型进行修正,以允许每次接触的采用概率会随着接触次数的增多而增大。 16 信仰或信任行为的“传染”也是如此。这种修正,在扩大模型的应用范围时通常是必不可少的。
12 熵:对不确定性建模
信息是不确定性的解。
克劳德·香农(Claude Shannon)
在本章中,我们讨论熵。熵是对不确定性的一个正式测度。利用熵,我们可以证明不确定性、信息内容与惊喜之间的等价性。低熵对应于低不确定性,同时揭示的信息很少。如果某个结果发生在低熵系统中,例如太阳从东方升起,我们并不会感到惊讶。而在高熵系统中,比如在抽奖时抽中了某个数字,结果是不确定的,并且实现的结果能够揭示信息。在这个过程中,我们经历了惊喜。
利用熵,可以比较不同的现象。我们可以判断新西兰的选举结果是不是比联合国对谴责某个国家的方案的投票结果更不确定,还可以将股票价格的不确定性与体育赛事结果的不确定性进行比较,也可以利用熵的概念来区分四类结果:均衡、周期性、复杂性和随机性。我们可以将看似随机的复杂模式和真正的随机性区分开来,并且可以分辨出哪些现象看起来像是有一定模式的,但事实上是随机的。
我们还可以使用熵来表征分布。在没有控制或调节力量的情况下,一些群体可能会向最大熵漂移。给定特定的约束条件,例如不变的均值或方差,就可以解出最大熵分布。最大熵分布的结果还可以用来证明某些分布比其他分布更优,从而能够对我们在建模时的选择起到指导作用。
本章分为五个部分。在第一部分中,我们讨论对信息熵(information entropy)的直观认识,然后给出信息熵的正式定义。在第二部分中,我们描述了关于熵的公理基础。在第三部分中,我们讨论如何使用熵来区分均衡、周期性、随机性和复杂性。在第四部分中,我们研究了会在给定约束条件下产生最大熵的系统。最后,我们探讨了这样一个问题:为什么在有的时候,我们更喜欢复杂性而不是均衡。
信息熵
熵是用来度量与结果的概率分布相关的不确定性的。因此,它也可以衡量意外。熵与方差不同,方差度量一个数值集合或数值分布的离散程度。不确定性与离散程度有关,但是两者并不是一回事。在具有高不确定性的分布中,许多结果的概率都是有意义的,这些结果并不一定有数值,具有高离散度的分布则只是具有一些极端的数值。
通过比较具有最大熵的分布与具有最大方差的分布,可以将这种区别鲜明地呈现出来。给定取值范围为从1到8的整数的若干结果,能够使最大化熵的分布对每个结果赋予相同的权重。 1 而能够使方案最大化的分布则是以1/2的概率取值1、以1/2的概率取值8(图12-1)。
图12-1 最大熵与最大方差
熵是在概率分布上定义的。因此它可以应用于非数值数据分布,例如森林中鸟儿的种类或不同口味果酱的市场份额。熵在数学上等于概率与它们的对数之和的相反数。这个数学公式听起来似乎很复杂,但是事实并非如此。
我们先从信息熵这种特殊情况开始讨论。对于信息熵,可以把它理解为根据随机抛硬币的结果来衡量不确定性的一种方法。假设每个家庭都只有两个孩子,男孩和女孩的可能性相同。某个家庭的孩子们的性别列表(按出生顺序排列)相当于抛两次硬币。因此,结果分布的信息熵为2,因为它对应于两个随机事件。其信息内容也等于2,因为我们只要提出两个“是或否”问题要求他们回答,就可以掌握结果。
与此类似,在有三个孩子的家庭中,性别列表相当于抛3次硬币。要了解这样的家庭的孩子的性别,也只需要提出三个“是或否”问题。同样的逻辑适用于任何数量的儿童。在一般情况下,要了解N 个孩子的性别,只需要提出N 个“是或否”问题。
这里需要注意的是,这N 个问题区分出了2 N 种可能的出生顺序。这种数学关系是理解熵测度的关键所在:N 个二元随机事件会产生2 N 个可能的结果序列,并且,与之等价,我们可以通过提出N 个“是或否”问题知悉结果序列。这也意味着,信息熵将不确定性水平(和信息内容)N 分配给了2 N 个结果上的一个等可能分布。
于是,挑战变成了如何用数学公式刻画这种关系。每个结果序列的概率均为 。要将这个数值转换为N ,需要一个相当复杂的数学公式 。 2 我们可以将这个公式推广到任意概率的情形下。如果某个结果序列出现的概率为p ,就分配一个不确定性log2 (p ),它近似于识别该序列所需要提出的“是或否”问题的数量。为了计算出一个分布的信息熵,我们只需求得所有结果(或者像在前面那个例子中那样的结果序列)需要提出的问题的期望数量的平均值。
信息熵
给定一个概率分布(p 1 ,p 2 ,…p N ),信息熵,H 2 等于:
注:上面的下标2表示使用的是以2为底的对数。
乍一看,这个数学公式带来的混淆似乎比它所能澄清的还要多。通过举例说明,应该能够使这个公式更加直观。想象一下这种情况:第一胎是女孩的家庭不再生任何孩子,而第一胎是男孩的家庭则还要再生两个孩子。从而,所有家庭中将有一半家庭只有一个女孩。而另一半家庭则等可能地分别属于如下四个结果之一:三个男孩;两个男孩与一个女孩;一个男孩与两个女孩;一个男孩一个女孩与一个男孩。这四种结果中的每一种出现的概率均为1/8。
信息熵等于我们想了解一个家庭的子女排列状况时必须提出的“是或否”问题的期望数量。我们首先会问,第一个孩子是不是女孩,回答“是”的概率为1/2。如果是这个答案,那么就不需要继续问下去了。因此有一半的时间,我们只需问一个问题。我们可以把这写成 。如果答案是否定的,那么我们还必须再提出两个问题,于是总共要问三个问题。这四种情况中的每一种都以1/8的概率出现,因此每种情况对信息熵的贡献为1/8×3,我们对每种情况可以写出 。从而,信息熵等于2,即上述五项的总和。 3 虽然这里使用的对数和负号可能会让有些人觉得困扰,但是直观含义仍然是非常清楚的:信息熵就对应着“是或否”问题的期望数量。如果我们不得不提出很多问题,那么分布就是不确定的。而知道了结果,也就揭示了信息。
熵的公理基础
公理基础:熵
,其中,a >0。
这种熵测度是唯一满足以下四个公理的测度:
对称性:对于任何转置概率,都有连续函数 。
最大化:对于所有N , 处最大化。
零性:H (1,0,0,…0)=0。
可分解性:如果
其中, 。
为了得到熵的一般表达式,我们采用公理化的方法。数学家克劳德·香农对他给出的这种测度施加了四个条件。前三个条件很容易理解,它必定是连续的和对称的,而且在所有结果以相同的概率发生时最大化,同时在某些结果上等于零。第四个条件可分解性则要求在具有m 个子类别的n 个类别上定义的概率分布的熵,等于各类别上的分布的熵与每个子类别的熵的总和。香农证明,有一类熵测度是唯一满足这些公理的测度。虽然这里的分布的乘积是一个不那么直观的自然假设。例如,在结果是两个独立事件的乘积的情况下,这意味着联合事件的信息内容是每个事件单独发生时的信息内容的总和。
正如夏普利值的公理基础一样,这些公理对存在性的贡献大于它们本身的合理性。聪明的数学家总是可以构造出能唯一定义一个函数的公理。香农的前两个公理很难质疑。有的人可能吹毛求疵地指责,将已知分布的不确定性设置为零过于任意了,但这只是一个适当的基准,另一种可能性是将已知分布的不确定性指定为1。 4 可分解性虽然解释起来不是很容易,但是也很难去挑战它。两个组合随机事件的不确定性理应等于每个事件的不确定性之和。总的来说,这些公理不仅仅是可辩护的,事实上,它们是难以辩驳的。
利用熵区分结果类别
我们现在阐明,如何利用熵测度来对经验数据进行分类,并在计算机科学家、数学家斯蒂芬·沃尔弗拉姆(Stephen Wolfram)给出的四大类别的框架下建模:均衡、周期性、随机性和复杂性。 5 在沃尔弗拉姆的这个分类中,放在桌子上的铅笔处于均衡状态,绕太阳运转的行星处于循环当中,抛硬币的结果序列是随机的,纽约证券交易所的股票价格也是近似随机的(我们在下一章中将会说明原因)。最后,一个人大脑中的神经元发放则是复杂的:它们既不会随意发放,也不会以某个固定的模式发放。图12-2以图形方式呈现了这四个类别。
平衡结果没有不确定性,因此其熵等于零。周期性过程具有不随时间变化的低熵。当然,完全随机过程具有最大的熵。复杂性具有中等程度的熵,因为复杂性位于有序性和随机性之间。虽然熵在两种极端情况下能够为我们给出明确的答案——均衡和随机性;但是这并不适用于周期性和复杂性的结果。在这些情况下,通常还必须善用我们的判断力。
图12-2 沃尔弗拉姆的四种类别
为了对时间序列数据进行分类,我们需要先计算出不同长度的子序列中的信息熵。假设,有个人会把他每天戴的帽子的类型一一记录下来。假设他只在两种帽子之间进行选择,一种是贝雷帽,记为B,另一种是浅顶软呢帽,记为F。这样过了一年,他对帽子的选择生成了一个有365个事件的时间序列。我们先计算长度为1的子序列的熵,也就是说,先计算戴每种类型帽子的概率的熵。假设他喜欢这两种类型的帽子的程度相同,那么长度为1的子序列的熵等于1。因此,我们可以先把均衡排除掉,因为他会改变他的选择,但是其他三种类别中的任何一种都是可能的。
为了确定类别,我们接下来计算长度为2到6的子序列的熵。如果所有都具有最大的熵,那么我们可以将简单的周期性排除掉。假设当我们考虑更长的序列时,熵会缓慢增加,直到达到最大值8为止。换句话说,无论子序列有多长,熵都不会超过8。熵为8相当于256个结果的等可能分布,这不可能是一个简单的循环。熵为8更可能代表具有特定结构和模式的复杂过程序列。我们不能确定地说,这个时间序列是复杂的。一种可能的情况是,这个人试图做到随机化,但是却失败了。
最大熵和分布假设
在很多情况下,我们建模时都必须把不确定性包括进来;因而作为建模者,必须对有关的分布做出假设。这里的原则是,我们要尽量避免做出任意特殊假设(ad hoc assumption)。也许,我们对产生分布的过程已经有了一些了解。如果是这样,通常可以运用逻辑—结构—功能方法,推导出该过程产生的统计结构。
例如,假设我们想要对一个房地产拍卖中的所有拍卖对象的总价值的分布做出一个假设。总价值等于各个项目的价值总和。因此,我们可以根据中心极限定理假设这是一个正态分布。对于一栋房子的可能价值,我们也可以假设一个正态分布,因为房屋的价值取决于它的多个性质:卧室的数量、浴室的数量和占地大小等。
对于艺术珍品或稀有手稿的可能价值,正态分布却可能没有意义。在这些情况下,我们对决定它们价值的过程几乎一无所知。一种方法是假设一个具有最大不确定性的分布,即最大熵分布。
最大熵分布的形状取决于各种约束条件。正如我们已经看到的,如果假设了一个最小值和一个最大值,那么均匀分布会使熵最大化。教科书和学术期刊中的许多社会科学模型都假设均匀分布,我们可能会质疑这个假设,因为均匀分布在现实世界中确实很少出现。然而,无差别原则(principle of indifference)可以证明假设均匀分布的合理性。如果只知道范围或可能集,那么就应当予以无差别的对待。
在某些情况下,我们可能知道分布的均值,也知道所有值都必定是正数。给定这些约束条件,最大熵分布必定具有长尾,因为我们要将分布置于更多的值上,从而必须使少数高值结果与许多低值结果保持平衡。不难证明,熵最大化分布是一个指数分布。因此,如果我们正在构建一个模型,需要假设网站点击量或市场份额的分布形式,那么在没有可用数据的情况下,指数分布是一种自然的假设。
如果我们确定了均值和方差(并且允许出现负值),那么最大熵分布则是正态分布。这里的逻辑与前一种情况类似。为了创造更多的不确定性,我们创造了一些极端值,在这里,可以平衡正值和负值,而不用改变均值。但是,这样做会增大方差,因此我们必须在均值附近添加更多值,从而创造出钟形曲线。
我们可以在逻辑—结构—功能框架内解释这些最大熵分布。如果我们认为在给定的社会、生物或物理环境中,某个微观层面的过程能够最大化熵,那么我们应该期待上面这些分布中的某一个会出现。或者也可以假设一个微观过程,并能够证明熵在增加。如果是这样,上述分布中的某一个也会涌现出来。
最大熵分布
均匀分布: 给定范围[a ,b ],使熵最大化。
指数分布: 给定均值μ ,使熵最大化。
正态分布: 给定均值μ 和方差σ 2 ,使熵最大化。
我们也可以将这些结果解释为探索性的。我们可能会遇到一些指数分布或正态分布的数据。虽然没有“义务”去追问某种潜在的行为是否会在一定约束条件下使熵增加,但这样做确实可以帮助我们获得一些新的洞见。在本书前面的章节中,我们利用中心极限定理解释了物种的高度、重量和长度为什么会服从正态分布。在这里,我们再给出一个不同的、基于模型的解释:如果一种突变能够最大化熵(以便探索最好的生态位),并且假设平均规模和总离散度是固定的,那么规模的分布将会是正态的。关键不在于这种最大熵方法是不是提供了一个更好的解释,而在于给定约束下最大化熵必定会导致正态分布。因此,当我们看到正态分布时,它可能是最大化熵的结果。
熵的实证含义和规范含义
前面我们已经讨论了,熵如何衡量不确定性、信息和惊喜,如何与测量离散度的方差不同,以及如何有助于我们对不同类别的结果进行分类和比较。在本书第13章和第14章中研究随机游走和路径依赖时,还会利用熵来识别随机性并测量路径依赖的程度。事实上,我们可以将熵测度用于任何实际应用,可以用它来衡量对金融市场的干预是增加了还是减少了不确定性,可以检验选举、体育赛事或博彩中的结果到底是不是随机的。
在这些应用中,熵都是作为一个实证的衡量标准来使用的。它告诉我们世界是什么样的,而不是世界应该是什么样。一个系统中的熵的本质,不能简单地说好,也不能简单地说不好。我们想要多少熵,取决于具体情况。在制定税法时,我们可能需要一种均衡行为模型,并不希望有随机性。在规划城市时,我们可能会希望看到复杂性,均衡或者周期性都会显得过于平淡。我们希望一个城市充满生机活力,为偶然的相遇和互动提供无限机会。在这种情况下,更多的熵会更好,但是又不能太多。我们不喜欢随机性,随机性会使计划变得非常困难,并可能导致我们的认知能力崩溃。最理想的情况是,世界会产生适度的复杂性,以保证我们生活在一个有趣的时代。
建筑师克里斯托弗·亚历山大(Christopher Alexander)证明,诸如强中心、厚边界和非独立这类的几何属性,能够生成复杂的生活建筑、社区和城市。 6 亚历山大渴望城市和生活空间中的复杂性。中央银行的规划者可能不太喜欢复杂性,在金融市场中,他们可能更喜欢可预测的均衡结果。不过幸运的是,使用模型,我们既可以探索复杂性,也可以讨论均衡的可能性。
13 随机游走
醉鬼能找到回家的路,但是一只醉酒的小鸟可能永远回不了家。
角谷静夫(Shizuo Kakutani)
在本章中,我们讨论两个来自概率论和统计学的经典模型:伯努利瓮模型(Bernoulli urn model)和随机游走模型。 1 这两个模型都描述了随机过程,即使看上去它们似乎在生成某种复杂的结构。如果不收集数据,随机性是很难辨别的。我们经常想当然地以为能够在选举结果、股票价格和体育赛事得分中总结出一定的模式,但这只是一厢情愿。借用学者、风险分析师纳西姆·塔勒布(Nassim Taleb)的一句俏皮话来说,我们都被随机性所惑,不过是一些“随机漫步的傻瓜”! 2
伯努利瓮模型描述了产生离散结果的随机过程,例如抛硬币或掷骰子。这个模型在几个世纪以前出现时,是为了解释赢得赌注的概率,现在已经在概率论中占据中心位置。随机游走模型就是建立在伯努利瓮模型的基础上的,保持了正面和反面的总数。这个模型可以刻画液体和气体中粒子的运动,动物在物理空间中的活动,以及从出生到童年人体身高的增长,等等。 3
本章首先简要介绍伯努利瓮模型,并对条纹长度(length of streaks)进行了分析。然后描述随机游走模型,我们将会了解到,一维和二维随机游走会无限次地回到起点,而三维随机游走则可能完全不需要回到起点。我们还会了解到,对于一维随机游走,回到零点之间的时间间隔分布遵循幂律分布。对于这个发现,有人可能认为它除了满足人们的好奇心之外没有什么用,但事实上,它可以解释物种和企业的生命周期。我们还将使用随机游走模型评估有效市场假设,并用它来确定网络规模。
伯努利瓮模型
伯努利瓮模型由一个装了灰球和白球的瓮组成。从瓮中抽取的球代表随机事件的结果。每次抽取都与之前和之后的抽取无关,因此我们可以应用大数定律:从长远来看,抽出每种颜色的球的比例将会收敛到这个球在瓮中的比例。当然,这并不意味着从一个装了7个白球和3个灰球的瓮中抽取1 000次,将会恰好抽出700个白球,它的意思是抽取出来的白球比例会收敛到70%。 4
伯努利瓮模型
每一次,从一个装了G 个灰球和W 个白球的瓮中随机抽取一个球,结果等于抽取出来的球的颜色。在下一次抽取之前,球要先放回瓮中。令 表示灰球的比例。在抽取N 次的情况下,可以计算出抽取出来的灰球的期望数量N G ,及其标准差 :
伯努利瓮模型的结果产生了可预测长度的条纹。在灰球和白球数量相等的瓮中,抽取出白球的概率等于1/2,连续抽取出两个白球的概率等于1/2乘以1/2,以此类推。一般情况下,如果瓮中白球的比例为P ,那么连续抽取N 个白球的概率等于P N 。通过计算概率,我们可以评估某种条纹是不是有可能出现(尽管很令人吃惊),或是几乎完全不可能(因而基本上可以肯定“有诈”)。当一名篮球运动员连续9次投中了三分球时,只是有热手效应吗?或者,我们是否应该期待有一个这种长度的随机序列?数学计算表明,一个很优秀的三分投手在长达10年的职业生涯中,也几乎完全不可能连续9次投中三分球。 5
我们可以进行类似的计算以确定投资者是幸运、能力出众还是在欺诈。自1965年至2014年,由沃伦·巴菲特(Warren Buffett)经营的集团伯克希尔哈撒韦公司(Berkshire Hathaway),在50年中有42年的表现优于市场。1964年伯克希尔哈撒韦公司的1美元在2016年的价值已经超过了1万美元,而投资标准普尔500指数的1美元价值大约为23美元。如果伯克希尔哈撒韦公司有50%的机会击败市场,那么它在50年来的表现应该超过市场的25倍,标准差为3.5年 。而事实上,伯克希尔哈撒韦公司击败市场的实际年数大约高于均值四个标准偏差,这是一个概率仅有百万分之一的事件,因此,我们可以排除这完全是运气的可能。由于伯克希尔哈撒韦公司定期公布它的投资,所以也可以排除欺诈的可能。与此相反,前纳斯达克主席、美国历史上最大的诈骗案制造者伯纳德·麦道夫(Bernard Madoff)从来不透露他的投资情况,如果客户要求投资透明度的话,麦道夫是不可能连续几十年取得“成功”,连续几十年得到正回报的。 6
随机游走模型
接下来讨论简单随机游走模型,它建立在伯努利瓮模型的基础上,并将过去结果的和保持下来。我们将初始值,也就是模型的初始状态设置为零。如果我们抽取出一个白球,就在总数上加1;如果抽取出一个灰球,就从总数中减1。模型在任何时候的状态都等于先前结果的总和,也就是抽取出来的白球总数减去抽取出来的灰球总数的值。
简单随机游走模型
V t +1 =V t +R (-1,1)
其中,V t 表示时间t 上的随机游走值,V 0 =0,R (-1,1)是一个可能等于-1或1的随机变量。在任何时间段内,这个随机游走的期望值都等于零,且标准差为 ,其中的t 等于周期数。 7
图13-1给出了一个简单随机游走。这幅图看上去似乎有一个模式:先是一个长期下降的趋势,然后是一个上升趋势;在上升过程越过零线时出现了一个适度的崩溃。但这个模式只是偶然发生的。
图13-1 一个300周期的简单随机游走
简单随机游走既是周期性的(会无限次地返回零点),又是无界性的(会超过任何正的或负的阈值)。如果等待足够长的时间,随机游走会高于正的1万、低于负的100万,也会无限次地穿过零线。此外,返回零点所需的步数分布满足幂律。 8 在大多数时候,返回零只需几步。所有游走中,有一半是两步返回的,然而有些游走需要很长时间才能返回。鉴于随机游走的无界性,这必定是真的。一个超过100万步阈值的游走,需要超过200万步才能到达那里并返回零点。
幂律分布结果还有一个意想不到的应用领域。如果我们将企业的销售水平或员工规模建模为随机游走,那么企业的生命周期就会成为一个幂律分布。更准确地说,当销售强劲时,企业会新招聘一名员工;当销售不佳时,会解雇一名员工;当不再拥有任何员工时,企业也就“寿终正寝”了。这样一来,返回次数的分布就等于企业生命周期的分布,而且是一个幂律分布。再者,就其第一近似而言,企业的生命周期是一个幂律。 9 我们可以应用相同的逻辑来预测生物分类单元(界,门,经,纲,目,科,属和种)的寿命。如果某个分类单元的成员数量遵循随机游走,例如,如果某个属中的物种数量随机地上下变化,那么,这个分类单元的大小就应该满足幂律。这方面的数据支持了这个模型的预测。 10
对于随机游走模型,还可以做这样一个类比:将随机游走视为冰川沿着地面的移动。根据模型的预测,冰川湖泊的大小分布将满足幂律。每一次,当冰川落到了陆地表面以下又返回顶部时,就会形成一个直径等于返回时间的湖泊。在这里,相关数据再一次与模型基本对应。 11
这个基本随机游走模型可以通过多种方式加以修正。我们可以创建一个正态随机游走(normal random walk)。在正态随机游走中,每一周期的值的变化都服从正态分布。正态随机游走不会完全回到零点,但它会无限次地穿过零点。
我们还可以令某一种结果比另一种结果更有可能发生,从而创建一个有偏差的随机游走。我们可以利用这种有偏差的随机游走模型来预测在博彩中获胜的概率。轮盘赌中,在红色结果上下注时赢的概率等于9/12。 12 我们可以将赌轮盘赌的总收益或总损失建模为这样一个随机游走:增加1的概率为9/19(大约47.4%),而减少1概率则为10/19。那么在下注100次之后,预期损失为5美元,标准差为10美元。这也就是说,我们可以在95%的置信水平上,认为损失不超过25美元、收益不超过15美元。在下注1万次之后,预期损失等于526美元,标准差为100美元。因此,在95%的置信水平上,我们的损失介于325美元与725美元之间。 13 同样,在下注1万次之后,我们还能赢是一个相当于超过均值5个标准偏差的事件,也就是说我们赢的可能性不到百万分之一。因此,要想在轮盘赌中赢,应该做的事情是下一个大赌注而不是下很多个小赌注。
一些体育比赛,例如篮球比赛,可以建模为两个有偏差的随机游走。在球场上,每支球队在每次攻守中都有可能得分。这个概率可以根据一支球队的进攻能力和对方球队的防守能力来估计。我们将球队在球场上的“行程”模拟为一个随机事件。每支球队的得分对应一个随机游走值,得分较高的球队更有可能获胜。来自NBA的数据分析表明,实际比赛结果与这个模型匹配得相当好。只有当一支球队获得了巨大的领先优势时,得分才会偏离随机性,在那种情况下领先优势继续扩大的可能性低于领先优势缩小的可能性。这种现象可以解释为领先的球队失去了继续得分的动力,同时落后的球队则必须至少让分数看上去不那么“丢脸”。 14
我们似乎会认为篮球比赛的结果肯定不是随机的。聪明、健壮且灵活的篮球运动员,拥有很多巧妙的进攻手段,并能在关键时刻实现扭转乾坤的得分。这当然也是事实,但是球员们的努力效果可能会被抵消。额外的进攻得分可能会因为额外的防守努力而被抵消。一个重要的抢断后的快速上篮,可能会被冲刺了大半个球场的对方球员破坏。这个模型还提出了一个策略:更强的那支球队应该加快比赛节奏,以创造更多的进攻回合。占有优势的球队应该更频繁地玩“轮盘赌”,因为随机“漂移”对他们有利。
简单随机游走模型只在一个维度上进行。我们还可以对高维随机游走建模。二维随机游走从平面中的原点(0,0)开始,然后在每个周期中随机走向东、南、西、北。二维随机游走类似于在一张纸上绘制出来的一条弯弯曲曲的线,同时也满足递归性(recurrence)和无界性,有点儿类似于在你的起居室中随机搜索一只丢失的耳环时的路线。这种递归性使随机觅食成了蚂蚁的一个觅食策略。 15 如果二维随机游走不是递归性的,那么蚂蚁就需要更复杂的内部地图或更强的信息踪迹才能找到它们的巢穴。
但是在有三个维度的情况下,随机游走将不再满足递归性。在一个房间里到处飞的苍蝇和在空气中弹跳的分子都只会有限次地返回到它们的起点。 16 (正因为如此,才会在本章开头引用角谷静夫的那段话。)
随机游走的无递归性为模型如何阐明我们的思考提供了一个很好的例子。直觉告诉我们,当添加维度时,返回起点的次数应该会减少,而逻辑则表明,这里会出现一个突然的变化。在一维和二维的情况下,随机游走会无限次地返回起点。而在三维的情况下,它将“永恒在外游荡”。要得到这种结果必须利用数学,只靠直觉是不够的。
使用随机游走估计网络规模
我们可以利用低维随机游走的递规性来估计某个网络的规模。方法很简单,随机选择一个节点,然后沿着网络的边开始随机游走,并跟踪它回到初始节点的频率。返回到初始节点所需的平均时间与网络的规模相关。例如,为了估计一个社交网络的大小,可以要求某人指定一个朋友,然后让那个朋友再说出一个朋友的名字,一直继续这个过程,看需要多久才会返回到同一个人。
图13-2显示了两个网络。左边的网络有3个节点,它们组成了一个三角形。右边的网络有6个节点,组成了两个三角形。在左边的网络上,我们不妨从A开始随机游走。假设它先移动到B,然后再移动到C,最后再返回到A。这也就是说,随机游走只需3步就可以返回它的起点。而在右边的网络上,从D开始的随机游走可能需要7步(F—G—H—F—E—F—D)才能回到起点。如果将这样的实验重复多次,那么左边网络的平均返回时间显然会比右边网络要短。虽然对这些小型网络来说,要衡量它们的规模并不一定需要这种方法,但对于大型网络(如万维网或大型电子邮件网络)来说确实非常有用。
图13-2 网络上的随机游走
随机游走与有效市场
事实已经证明,股票价格接近正态随机游走,带有正漂移,以获得市场收益。许多个股的价格也接近随机。图13-3显示了Facebook在2012年5月18日首次公开发行后一年中的每日股票价格数据。Facebook公开发行时的价格为每股42美元。截至2012年6月1日,股票价格已经下跌到了28.89美元。一年后,价格进一步下降至24.63美元。图13-3还显示了另一个已经校准为具有类似变差的随机游走。
图13-3 2012年6月—2013年6月,Facebook每日股票价格vs. 一个随机游走
我们可以对Facebook的股价序列进行统计检验,以确定它是不是真的满足正态随机游走的假设。首先,价格应该以相同的概率上下波动,在这个序列所涵盖的249个交易日内,Facebook的股票价格在127天内是下跌的,占总交易日数的51%。其次,在随机游走中,增加的概率应该与前一周期的增加无关,Facebook的股票价格连续两天在同一方向上发生变化的时间只占总时间的54%。最后,持续出现在同一方向上的最长波动应该是8天,在这一年时间里,Facebook的股票价格曾连续10天上涨。因此,总的来说,我们不能否认Facebook的股票价格与正态随机游走一致的假设。
同样的分析也适用于所有股票的日交易价格。为了做到这一点,我们必须先去除股票价格中所包含的平均上涨趋势。研究表明,从20世纪50年代到80年代,每日股票价格略有正相关关系。在进行了去趋势处理之后,一天上涨之后再出现上涨的概率略超过50%。20世纪80年代之后,由于投资者开始变得更加精明,一天上涨之后再出现上涨的概率下降到了50%,从而与随机游走完全一致。
股票价格可能遵循随机游走的原因是,聪明的投资者能够识别出并消除这种模式。例如,在20世纪90年代,分析师注意到,股票价格往往会在每年年初出现上涨,这种现象被称为“一月效应”(January effect)。聪明的投资者可以在12月以低价购买股票,并在来年1月卖出以获取利润。这个策略看起来好得让人难以置信,而事实是,如果投资者在12月购买股票,他们就会抬高价格,从而抵消“一月效应”。事实上,我们不应该对“一月效应”的消失感到惊奇。
经济学家将市场价格的可识别持久模式类比为人行道上的百元钞票。如果有人看到人行道上有张一百元的钞票,就会把它捡起来,然而只要这样做了,钞票就会消失。同样的逻辑适用于股票价格模式:如果它们存在,它们就会消失。因此,充满了聪明的投资者的市场几乎必定不会包含什么可预测的价格模式。既然价格不会呈现出任何模式,那也就只能是随机游走了(需要注意的是,必须先去除一般的上行趋势)。
经济学家保罗·萨缪尔森(Paul Samuelson)构建了一个能够生成随机游走的模型。他的模型并不要求投资者知晓未来所有期间的股票价值,而只要求他们知晓股票价值的分布。正如萨缪尔森所说:“人们不能过于迷信现有的定理,它不能说明实际的竞争性市场运作良好。” 17 但不是每个经济学家都能认同他的观点。
一些经济学家将这种随机游走思想进行了扩展,提出了有效市场假说(efficient market hypothesis)。这个假说指出,在任何时候,股票的价格都反映了所有的相关信息,未来的价格必定遵循随机游走。有效市场假说依赖于一个自相矛盾的逻辑。 18 因为要确定准确的价格需要付出时间和精力,财务分析师必须收集数据并构建模型。如果价格真的是随机游走的,所有这类活动都将无法得到预期的回报。然而,如果真的没有任何人花费时间和精力去估计价格,那么价格就会变得不准确,也就意味着人行道上会铺满百元钞票。
简而言之,正如格罗斯曼和斯蒂格利茨悖论(Grossman and Stiglitz paradox)所强调的,如果投资者相信有效市场假说,他们就会停止分析,从而导致市场效率低下;而如果投资者认为市场效率低下,他们就会应用模型进行分析,从而提高市场效率。
事实上,股票市场上的价格变动与随机游走确实相当接近,尽管利用复杂的统计技术确实能够揭示某些短期模式。 19 这也就是说,虽然人行道上可能没有铺满百元钞票,但是在草地上确实能够找到一些四叶草,只要足够努力。
有些批评有效市场假说的人还指出,许多投资者持续战胜市场的时间明显不能用偶然性来解释。 20 此外,股票价格之所以随机波动,也可能是由于一些其他原因,例如复杂的交易规则的总体影响。日常价格的波动性超过了流入市场的信息量,而且,在现实世界中似乎并没有发生什么重要的事情时,股票市场也会出现大幅飙升或跳水,这就表明市场上存在泡沫。给某个人带来很大不利的某个事件,对另一个人来说也许不过是“尽管有这些问题,但是……”。是的,波动性确实很高,但是很少的信息就可能会产生很大的影响。即便市场真的出现了大幅飙升或跳水,市场仍然可能是遵循长尾随机游走的。在长尾随机游走中,股票的日常波动源于长尾分布。
虽然,股票价格始终准确的说法似乎令人难以置信,但从长远来看,价格确实不会与真实价值相差太远。我们可以应用72法则来证明这一点。如果经济每年增长3%,那么在半个世纪中,经济总量将增长4倍。如果回到1967年,当时美国的国内生产总值相当于今天的4.2万亿美元(按2009年美元计算),而到了2017年,美国的国内生产总值增长到了将近17万亿美元(按2009年美元计算),增长了4倍,这正是我们所预期的:每年增长3%,半个世纪就可以增长4倍。在同一时期,标准普尔500指数股票的实际价值也增加了大约4倍。如果股票市场每年上涨12%(以实际美元价值计算),那么股票价格就会增加256倍,这应该是不可能的。 21