在20世纪统计学方法的发展历程中,费歇尔并不是唯一的天才。俄国数学家安德烈?N?柯尔莫哥洛夫(Andrei N. Kolmogorov)(比费歇尔年轻13岁,1987年以85岁高龄过世),在数理统计与概率理论方面留下了很多不朽的成就。他的成就虽然是以费歇尔的一此研究成果为基础的,但柯尔莫哥洛夫的成就在数学深度与细节上都超越了费歇尔。
不过,就像他的成就对科学的贡献非常重要一样,柯尔莫哥洛夫对所有认识他的人也颇具影响力。他的学生艾伯特?N?谢耶夫(Albert N. Shiryaev)在1991年写道:
A?N?柯尔莫哥洛夫属于那种很少数、你一接触就知道他与众不同的人,他很伟大、很杰出,感觉像个奇才。他的一切都和别人不一样:他的一生,他的中学和大学生活,他在数学……气象学、流体力学、历史、语言学、教育学等领域的开创性发现。他的兴趣异常广泛,包括音乐、建筑、诗歌及旅行。他的博学多闻也是罕见的。看上去好像他对任何事都有很高深的见解……。任何人只要和他见过面,只要与他简单交流,便会感觉他是那样的非常寻常。人们感觉到,他是那种具有连续深度心智活动的人。
柯尔莫哥洛夫生于1903年,那年他的母亲正从克里米亚(Crimea)返回家乡,她的家乡在俄国南部托诺西纳(Tunoshna)的乡村,在旅行途中生下了柯尔莫哥洛夫。有一位传记作家很精确地写到:“柯尔莫哥洛夫是个非婚生的儿子。”他的母亲玛丽亚?雅科夫列夫娜?柯尔莫哥洛夫(Mariya Yakovlevna Kolmogorov)在怀孕的后期被其男朋友抛弃,只得回家待产,不料阵痛提早发作,她只好在中途的坦波夫(Tambov)镇下了火车,在那儿生下了小孩。不幸的是,她自己却因难产死于这个陌生的小镇,只有她的初生婴儿回到了故乡托诺西纳。后来是他妈妈的几个未婚姊妹抚养了他,其中的薇拉?雅科夫列夫娜(Vera Yakovlevna),后来变成了他的养母。阿姨们为年轻的安德烈和他同龄的孩子在村子里办了一个小学校。她们甚至在家里印刷了一份小刊物,叫做《春燕》(Spring Swallows),他的第一篇作文就发表在上面。在他5岁的时候,他提出了他的第一个数学发现(也发表在《春燕》上)。他发现最小的k个奇数和和正好等于k的平方。随着他慢慢长大,他常拿一些问题问同学,这些问题与它们的答案也发表在《春燕》上。其中一个问题是这样的:缝一个四孔的钮扣,有多少种缝法?
到了14岁,柯尔莫哥洛夫从百科全书上学到一些高等数学,并且补充了其中没有证明的部分。在念高中的时候,他的一系列永动机的制造计划,考倒了年轻的物理老师。因为计划制定得太精巧了,连老师都不能发现其中的错误(柯尔莫哥洛夫把这些错误很小心地隐藏起来)。后来,他决定提早一年参加毕业考试。于是就正式向老师提出请求,老师要他午饭后回来听消息,然后他就出去散步了。等他回来的时候,学校考试委员会决定不必经过考试就发了证书给他。他后来对谢耶夫表示,这件事是他一生中最令人失望的事情之一,本来他希望迎接智力的挑战。
1920年,年仅17岁的柯尔莫哥洛夫来到莫斯科念大学。他注册读数学第,但到很多别的科系去听课,如冶金学,另外他还参加一个研究俄国历史的专题研讨会。作为研讨会的一部分内容,他报告了他的第一篇等待发表的研究论文,内容是分析15到16世纪时诺夫哥罗德(Novgorod)地区土地占有情况。他的教授批评这篇论文,认为柯尔莫哥洛夫没有提供足够的证据。几年后,有个考古队在该地区探险,证实了柯尔莫哥洛夫的猜测。
作为莫斯科国立大学的学生,他到中学兼职做教员,还参加了许多课外活动。后来他继续在莫斯科大学读数学专业的研究生。数学系要求学生修14门基础课程,而对于每门课程,学生可以选择或是参加期末考试,或是提交一篇具独创性的论文。很少有学生尝试写出一篇以上的论文柯尔莫哥洛夫从没参加过考试,而是写了14篇具独创性的精彩论文。他后来回忆说,“其中一篇的结果其实是错的,但我只是在后来才意识到。”
柯尔莫哥洛夫这位才华横溢的数学家得到西方科学家的赏识,是通过他在德国出版的一系列精彩的文章及一些德文书籍实现的。在20世纪30年代,俄国当局甚至还允许他去参加一些在德国和斯堪的那维亚举行的数学研讨会。不过在第二次世界大战期间以及战后,柯尔莫哥洛夫这个伟大的人物却消失在斯大林的铁幕后面。1938年,他发表了一篇论文,这篇论文建立了平滑和预测平稳随机过程的基本定理(这项研究在本章后部分还将做介绍)。诺伯特?维纳(Norbert Wiener)对于战争的状态给出了一个有趣的评论,维纳当时正在麻省理工学院(Massachusetts Institute of Technology),在战争期间和战后,他致力于将这些方法应用于军事问题。维纳的研究结果被认为对美国的冷战非常重要,以至于被宣布为最高级的机密。但是维纳坚持认为,他的所有研究结果都可以从柯尔莫哥洛夫早期的那篇论文中推导出来。在二次大战期间,柯尔莫哥洛夫忙于研究如何将该理论应用于苏联的战争中。柯尔莫哥洛夫一直谦逊地评价自己的学术成就,他认为这些基本思想应该归功于费歇尔,因为费歇尔在他的遗传学的研究中使用了类似的方法。
柯尔莫哥洛夫其人其事
1953年斯大林去世后,政治上处处怀疑的铁环开始松动。于是柯尔莫哥洛夫这个人又开始露面,参加一些国际学术会议,同时在俄国也组织一些学术会议。国际上的数学界开始认识他。他是一个热心、友善、开明、幽默的人,同时知识渊博,喜爱教学。他那敏锐的大脑对他的所见所疗总是不停地在思考。我手头有一张1963年柯尔莫哥洛夫在第比利斯(Tbilisi)听英国统计学家大卫?肯德尔(David Kendall)讲座时的照片,柯尔莫哥洛夫的眼镜搭在他的鼻尖上,他身体前倾,热切地跟踪讨论。你可以感觉到一种鲜明的个性,感染着坐在他周围的人。
柯尔莫哥洛夫最喜爱的一些活动是给莫斯科的一些有天赋的孩子讲课并组织课堂活动,他非常乐于将孩子们引入到文学和音乐的知识领域。他带孩子们远足和探险,他认为每个孩子都应该有一个“完整个性的宽广而自然的发展空间”。大卫?肯德尔曾写道:“这些孩子将来是不是都成为数学家,这并不是他所关心的。不管孩子们最终从事什么职业,只要他们的远见仍然宽阔,只要他们的好奇心并没有被遏制,他就会感到满意。”
柯尔莫哥洛夫在1942年与安娜?德米特里耶夫那?叶戈罗娃(Anna Dmitrievna Egorova)结婚。他们恩爱美满的婚姻一直延续到他们80多岁。他是一位狂热的徒步旅行和滑雪爱好者,在他70多岁的时候,还带领年轻人远足攀登他所喜欢的山脉,讨论数学、文学、音乐和普通的生活问题。1971年,他加入了一个科学探险队,在德米特里?门捷列夫(Dmitri Mendeleev)科学考察探险船上探索海洋的奥秘。他的同辈不断地对他所感兴趣的事物和他所拥有的知识感到惊奇。在他会见约翰?保罗教皇二世(Pope John Paul Ⅱ)时,他与这个爱好运动的教皇讨论滑雪,并指出,在19世纪,胖的教皇与瘦的教皇交替出现,并且还指出约翰?保罗教皇二世是第264任教皇。看上去他的研究兴趣之一是罗马天主教的历史。他曾经做关于俄国诗歌的统计分析方面的讲座,他还能记住并大段大段地背诵普希金(Pushkin)的诗歌。
1953年,莫斯科国立大学组织了一次大型活动,庆祝柯尔莫哥洛夫的50生日。作为该活动的一位演讲人,该校退休的名誉教授帕维尔?亚历山大德罗夫(Pavel Aleksandrov)曾讲到:
柯尔莫哥洛夫属于这样一类数学家,他们在任何一个领域中的每一项研究都会引领出一种全新的评价。在这些年,我们很难找到一个像他这样的数学家,不但兴趣广泛,而且对数学界深具影响力,……哈代(Hardy,一位著名的英国数学家)认为他是三解级数的专家,而冯?卡曼(von Karman,一位二次大战后的德国物理学家)则认为它是机械学专家。格德尔(G?del,一位数学哲学理论学家)曾说,天才的特质是永远保持着童心。所谓的童心有许多特质,感到兴奋是其中之一。对数学感到兴奋是柯尔莫哥洛夫作为天才的一个印证。除此之外,柯尔莫哥洛夫对事物的兴奋,还展现在他具创造性的研究成果中,在他为《俄国百科大辞典》(Large Soviet Encyclopedia)写的许多文章里,在他所开发的博士项目中。这些都只是他的一个方面,而他的另外一面,则是他专心致志的做事态度。
他这种专心致志的做事态度其结果是什么呢?要列出柯尔莫哥洛夫在数学、物理、生物与哲学领域中有哪些重要贡献,倒不如列出他在这些领域里的哪一方面没有多大贡献,后者比前者容易得多。1941年,他建立了研究湍流的现代数学理论方法。1954年,他在检验行星间的重力交互作用时,发现了一种模拟方法,可用来描述其中的“不可积分”性,这正是百年来数学分析所面临的一个挑战。
柯尔莫哥洛夫在数理统计方面所做的工作
对于统计学的革命,柯尔莫哥洛夫解决了两项最迫切的理论问题。在他去世之前同,他几乎解出了困扰统计方法核心的一个很深奥的数学哲学问题。这两个迫切的问题是:
1. 概率的真正数学基础是什么?
2. 面对像地震过后的余震(或地下核弹试爆)这类长时间搜集上来的数据时,我们可以做些什么?
当柯尔莫哥洛夫开始研究第一个问题时,概率在理论数学家的眼里名声并不太好。这是因为,很多人认为创建于18世纪的计算概率的数学技巧,只不过是比较聪明的计数法而已。(例如,从一副标准的扑克牌中,抽取3组牌,每组5张,可以有多少种发牌法只会让其中一位参与者成为赢家?)这些聪明的计数方法看上去似乎没有一个单一的基础理论结构,好像都是为了满足某项特殊需求而创造出来的特定做法。
对大部分的人来说,有个能解决问题的方法就够了,但对19世纪末、20世纪初的数学家来说这是不够的,他们需要一个坚实而严密的基础理论,以确保得到的这些解中不会有错误。18世纪数学家们所使用的这些特定方法虽然有用,但如果应用错了也会产生很难应付的悖论。因此,20世纪初期数学的主要工作就是把这些特定方法放在一个坚实而严密的数学基础上。亨利?勒贝格(就是让奈曼印象非常深刻的那位很有数学见地的勒贝格,但后来奈曼真的与他见面时,却觉得他粗鲁而没礼貌)的研究工作之所以这么重要,就是因为他把微积分的特殊方法建立在一个坚实的基础上。只要概率理论还停留在17和18世纪那种不完整的阶段,20世纪的数学迷朦就会认为概率理论是一种没多大价值的东西(许多统计方法也会遭此轻视)。
柯尔莫哥洛夫思考了概率计算的本质之后,最后终于发现,求一个事件的概率完全就像求一个不规则形状的面积。他把新产生的数学测试理论应用到概率的计算上。有了这些工具,他就能定出一套公理,再用这些公理建构出整个概率理论。这就是柯尔莫哥洛夫的“概率论的公理化”(axiomization of probability theory),至今仍是学校中讲授概率论时采用的唯一方法。这种方法永久性地解决了有关概率计算有效性的所有问题。
解决了概率理论的问题之后,柯尔莫哥洛夫开始攻关另一个有关统计方法的主要问题(与此同时,他还要教那些天才的儿童,组织研讨会,管理数学系,解决有关机械学与天文学的问题,以及如何让生活过得既充实又精彩)。为了使统计计算变得可行,费歇尔以及其他的统计学们家都假设所有的数据都是独立的。他们把一系列的测量结果看成像是掷骰子得来的。因为骰子没有记忆,不会记得它们上次出现的点数,所以每次新出现的点数都与先前出现的点数完全独立。
大部分数据并不是彼此独立的。费歇尔在《研究工作者的统计方法》一书中所举的第一个例子,是他的新生儿子每周的体重。显然,若小孩在一星期内增加很多体重,下一周的数据当然会反映这种结果;如果小孩此周生了病,体重没有增加,下周的体重数据也会把这个结果反映出来。在现实生活中,一个长时间搜集上来的数据序列很难被认为是真正独立的。
费歇尔在他的《作物收成变动研究》这一著作的第三篇中(也就是H?费尔菲尔德?史密斯教授介绍给我的那篇重量级论文),记录了连续几年的小麦收成量和那几年每日的降雨量。随时间所搜集得来的数据并不是独立的,他通过创建一组很复杂的参数来应对这一难题。他找到了一些有限的解,但这些解所根据的简化假设可能并不成立。费歇尔无法再进一步解决这个问题,也没有人继续从事他这项未完成的研究。
当然,我们说的没有人,是指在柯尔莫哥洛夫出现之前。柯尔莫哥洛夫把随时间搜集得来的前后相联的这一数值序列,称作“随机过程”(stochastic process)。他的许多篇先驱性论文(正好在二次世界大战爆发前发表)为美国的N?维纳、英国的乔治?博克斯(George Box)以及他自己在俄国的学生进行更深入的研究奠定了基础。由于有了柯尔莫哥洛夫的思想,现在我们已经能够对那些随时间搜集上来的纪录时行检查分析,而且可以得出很专门的结论。我们可以利用加州海岸的海浪数据来定位印度洋上的风暴;无线电波望远镜能区分不同来源的无线电波(或许有一天甚至还能接收到其它星球上高等生物发出的信息);我们有可能分辨一组震波纪录究竟是地下核弹试爆引起的,还是天然的地震引起的。在工程学的期刊上,许多文章所采用的方法都是根据柯尔莫哥洛夫对随机过程的研究成果而发展出来的。
现实生活中概率的意义是什么?
在生前的最后几年,柯尔莫哥洛夫攻关一个更困难的问题,这个问题不公是个数学问题,而且还是个哲学问题。到他去世的时候,这个问题还没有完全获得解决。不过,一代数学家已经在认真思考如何接续他的思路进行研究。在我写这本书的时候,这个问题还没有解决。不过,正如我在最后一章将要指出的,如果这个问题一直无法解决,那么对科学来说,统计方法的整个体系就会被它自己的前后不一致所搞垮。
柯尔莫哥洛夫研究的最后一个问题是:在现实生活中,概率的意义是什么?他已经为概率提出了一个令人满意的数学理论。这意味着,概率的所有定理和方法都是内部自身前后一致的。科学的统计模型则跳出了纯数学领域,把这些定理应用在现实问题上。为了做到这一点,柯尔莫哥洛夫为概率理论所提出的抽象数学模型,必须找到与现实生活某些方面的对应关系。实际上已有上百种方法想解决这个问题,每一种方法对概率在现实生活中的意义都提出了不同的解释,但每种方法都受到了批判。这个问题非常重要,因为如何解释统计分析的数学结论的涵义,取决于你如何在这些公理与现实生活中的情况之间找到对应的关系。
在柯尔莫哥洛夫的概率理论的公理化过程中,我们假设存在一个抽象空间,空间里的元素称为“事件”(event)。该空间中事件的集合,可以像我们测量门廊的地板面积或电冰箱的体积一样进行测量。如果对抽象的事件空间的测量满足某些公理,则称该空间为概率空间(probability space)。为了在现实生活中应用概率理论,我们得找到这个事件空间,而且要非常明确具体,这样我们才能实际计算出该空间概率的测试值。当一个实验科学家使用统计模型来分析实验的结果时,这个空间是什么?威廉?西利?戈塞特认为这个空间是实验的所有可能结果的集合,但他无法证明应该怎样计算与该空间有关的概率。除非我们能够确定出柯尔莫哥洛夫的抽象空间,否则由统计分析得到的概率陈述会有很多不同的意义,有些意义还可能互相矛盾。
例如,假设我们进行一项临床实验,以检验一种艾滋病新疗法的功效。假定统计分析显示,旧的疗法和新的疗法之间的功效差异是显著的。那么这是否意味着,医学界可以确信这一新的疗法能治愈下一个艾滋病病人呢?或者是否意味着,这个新疗法对一定百分比的艾滋病病人有效?或者仅仅是表示,只有对实验中经过高度筛选的这群艾滋病病人,新的疗法才会有效?
要找出概率的现实意义,通常可以通过柯尔莫哥洛夫的抽象概率空间给出现实的解释来实现。柯尔莫哥洛夫用的则是另外一种方式。他结合了热力学第二定律、K?皮尔逊的早期研究,以及一些美国数学家为了找出信息的数学理论所进行的研究尝试,还有保罗?利维对大数定律的研究,然后他从1965年开始,陆续撰写了一系列的论文,撇开了有关的公理和他自己对这一数学问题的解,而把概率视为……
1987年10月20日,柯尔莫哥洛夫去世。而在他逝世前最后那几年,他依然活力十足,具有独创性的观念仍源源不绝地涌出——至今仍无人能拣起他留下来的线索。
苏联统计学界的失败
虽然柯尔莫哥洛夫和他的学生在概率和统计的数学理论上有重大的贡献,但苏联从这场统计革命中却获益很少。为什么会如此?这个问题本身就提供了一个案例,说明当一个政府对所有的问题都知道其“正确”答案时,会发生什么后果。
在沙皇统治时代的末期以及俄国大革命开始的这段期间,俄国的统计学界相当活跃。俄国数学家在英国和欧洲发表的论文,被国际学术界广泛知晓。俄国数学家与农业学家的论文常发表在《生物统计》期刊上。具有革命精神的俄国政府设立了一个中央统计局,并且在各个苏维埃共和国里也设置了类似功能的地方统计局。中央统计局进行了一份报导统计学术活动的期刊《统计学通报》(Vestnik statistiki - herald,1994后改名为《统计学研究》,即Voprosy statistiki - statistical studies——译者注),上面有很多英文与德文期刊的论文摘要。在1924年年末,《统计学通报》上发表了一篇论述统计设计如何应用在农业研究上的文章。
随着20世纪30年代斯大林肃反运动的到来,所谓正宗的共产主义理论也渗透到学术界各个领域。在一些所谓的共产主义理论家看来,统计学是社会科学的一个分支。所有的社会科学都应服从于中央计划。随机变量的数学概念是统计方法的核心,但由于随机变量(random variable)译成俄文时,译成了“偶发数量”(accidental magnitude),所以对中央计划者和理论家来说,这种概念显然是一种冒犯。在前苏联,所有的工业与社会活动,都是计划出来的,没有什么事是偶然发生的。偶发数量可能描述资本主义经济中所观察到的事情,但绝不是在俄国。因此,数理统计的应用研究很快就受到压制。在1956年的《数理统计年报》(The Annals of Mathematical Statistics)中,S?S?扎尔科维克(S. S. Zarkovic)写了一篇回顾苏联时期统计发展史的文章,里面就很委婉地讲到:
随后几年,在俄国的统计学发展过程中,政治考虑成为愈来愈显要的因素,这便导致了在统计实践活动中理论应用的逐渐消失。到了20世纪30年代末期,《统计学通报》停止刊登用数学处理统计问题的论文。到了20世纪30年代结束时,这方面的论文完全销声匿迹,而且从此没再出现。这种趋势的结果是,统计学家完全放弃了应用,躲回到大学校园和其他研究机构中,以其他学科的名义从事统计研究。柯尔莫哥洛夫、N?V?斯米尔诺夫(N. V. Smirnov)、V?I?罗曼诺夫斯基(V. I. Romanovsky)以及其他很多人,都正式地离开统计学,变成数学家了。一个很有趣的例子是E?斯卢茨基(E. Slutsky),他本来是世界知名的计量经济学大师,结果连他也放弃统计学,改行去做天文学研究……。依照官方的观点,统计学变成了为政府制定国家经济计划的工具,当然它是一种社会科学,或换句话说,是一种阶级科学。其中的大数定律、随机离差思想,以及其它任何属于统计学的数学理论,都被当成是错误通论的构成元素,而遭到清除。
不只是官方的观点制约了统计学的发展。斯大林依赖一个大言不惭的生物学业家特罗菲姆?D?李森科(Trofim D. Lysenko),他拒绝接受遗传学的基因理论,声称动植物的遗传特征可以由环境来塑,毋需藉由遗传。那些想遵行费歇尔的成果以数学方式研究遗传学的生物学家都受到排斥,有些甚至入狱。当教条的理论降临苏联统计学界时,由中央统计局和它的下属统计局报出来的数据,也越来越受质疑。在中央计划之下,乌克兰与白俄罗斯共和国的肥沃农田,都变成泥泞的荒地,一大堆粗制滥造的机械成品根本不好用,支离厂矿的消费品由工厂流出来,也根本派不上用场。苏联甚至连填饱老百姓的肚皮都存在困难。唯一有效进行的经济活动是黑市交易。然而,中央政府依然捏造出虚假、乐观的统计数字,真实的经济活动水平被许许多多的经济增长率的比率指标所掩饰了。
此时,一些美国数学家,像诺伯特?维纳,则开始利用柯尔莫哥洛夫和亚力山大?亚?赫因强(Alexander Ya Khintchine)所提出的随机过程定理,强化美国的国防事务,而美国国家标准局的沃尔特?休哈特(Walter Shewhart)与其他人,则向美国工业界展示如何运用统计方法来控制产品投师。此外,美国、欧洲及一些亚洲地区的农场,作物的产量都在飞速提高。相反,苏联的工厂仍在生产一些没有用的东西,他们的农业依然无法解决人民的温饱问题。
直到20世纪50年代,尼基塔?赫鲁晓夫(Nikita Khrushchev)开始掌权,官方理论的控制开始放松,开始尝试把统计方法应用在工业与农业上。不过,官方的“统计”仍然是充满了假的数字与精心制作的模糊内容,而尽全力试图出版的应用统计学期刊,结果也只是不定期地出了几期而已。一直到20世纪90年代末期,苏联政府与它的中央计划经济制度完全解体,俄罗斯工业界才有机会大量采用现代统计模型。
也许这件事给大家都上了宝贵的一课。