1962年,芝加哥大学的托马斯?库恩(Thomas Kuhn)出版了《科学革命的结构》(The Structure of Scientific Revolutions)一书。这本书深刻地影响了哲学家们和实践者们如何去看待科学。库恩指出,现实是复杂的,是绝对不可能由一个有组织的科学模型来完全描述出来的。他认为科学就是试图模拟建立一个描述现实的模型,符合可用的数据,并且可以用来预测新实验的结果。因为没有任何一个模型是完全真实的,所以,数据越来越多,要求不断地配合新的发现去修正模型以修正对现实的认知。这样,模型因为带有特例的直觉上难以置信的延伸,变得越来越来复杂,最终,这个模型不再适用了。这时,有创新精神的人将会考虑建立一个全新的模型,一场新的革命在科学领域即将展开。
统计革命就是模型变换的例子。用19世纪决定论的科学观,牛顿物理学已经成功地描述了行星、月球、小行星和彗星等天体的运动,运动都是遵守几个明确的运动和引力定律;在寻找化学规律方面也取得了一些成功;并且达尔文的自然选择学说为理解进化提供了有利的依据;甚至有些人试图将这种寻找科学规律的模型研究引入社会学、政治科学以及心理学等领域。那时,人们相信寻找规律的难点在于测量不准确。
19世纪初,一些数字家如皮埃尔?西蒙?拉普拉斯认为,天文测量存在微小误差,可能是因为大气状况和测量的人为因素。他提出,这些误差也应该存在一个概率分布,从而开启了统计革命的大门。按照库恩的观点,这就是在获得新的数据后对机械式宇宙观进行的修正。19世纪,比利时学者兰伯特?阿道夫?雅克?凯特莱(Lambert Adolphe Jacques Quételet)最早开创了统计革命,他认为人类行为的规律也具有概率论的性质。他没有用皮尔逊的多参数方法,并且也不知道最佳估计方法(optimum estimation),他的模型是极其朴素的。
最终,人们发现,更加精确的测量反倒使模型预测值和实际观测值之间的差异变得更大,关于科学的决定论观点彻底崩溃,测量的越加精确,不但没有按照拉普拉斯的想法去消除误差,反而降低了人们观测行星真实运动的能力,而且表现出的差异越来越大。基于这一点,科学界已经做好了接受皮尔逊及其参数分布的准备。
本书前面的章节已经介绍了皮尔逊的统计革命是怎么逐渐改变整个现代科学的,尽管分子生物学遵循这种决定论(基因会决定细胞产生特殊的蛋白质),但是,在该科学中产生的实际数据充满了随机性,而且基因事实上就是这些随机数据分布的参数。现代药物对人体功能的影响是绝对的,1毫克或2毫克药物就可能对血压或精神有很大的影响,这一点是确定无疑的。但是证明了这一影响力的药理研究过程,却是按照概率分布来设计和分析的,影响力就是这些分布的参数。
同样,经济计量学的统计方法被用来模拟一个国家或者一个企业的经济活动。我们确信的电子的质子这些次原子粒子在量子力学中都是作为概率分布描述的。社会学家用总体的加权算术平均数来描述个体的交互作用,但这只能按照概率分布的方式进行。在许多类似的科学领域里,统计模型的应用在它们的方法论中非常广泛。当谈及分布的参数时,好像它们是真的并且是可测量的一样。多变且不确定的数据集合,就是这些科学的起点,计算结果则是隐藏在大量计算中,以参数形式来表示,这些参数是永远不能通过直接观测得到的。
统计学家失去控制权
现代科学中的统计革命如此彻底,以致于统计学家已经失去了对过程的控制。在数理统计文献的基础上,分子遗传学家已经独立发展了自己的概率计算方法。计算机对大量数据的处理能力,和人们对整理并搞清楚这些巨大信息库含义的需求,促使信息科学这一新学科的诞生。在信息科学新期刊的文章中已经很少提到数理统计学家的工作,而且,在《生物统计》或《数理统计年报》中刊登过的许多分析方法,都正在被重新发现。统计模型在公共政策问题研究中的应用,已经演变成了一个被称为“风险分析”(risk analysis)的新学科,并且风险分析的新期刊也忽视数理统计学家的工作。
现在几乎所有新学科的期刊,要求在结论中有一个结果表,列出对统计结论产生影响的不确定因素的测量值。统计分析的标准方法已经成为大学中这些学科的研究生课程,通常,课程的讲授还不必同一个学校的统计系参与。
自K?皮尔逊发现偏斜分布的一百多年里,统计革命不仅扩展到大多数的科学领域中,而且其许多思想已经传播到了一般的文化当中。当电视新闻主持人宣布,某项医学研究已经表明被动吸烟的人的死亡风险比不吸烟的人高一倍时,几乎每个听众都认为他或她明白主持人的意思;当一个公众民意调查说65%的公众对总统表示满意,上下误差3%时,我们大多数人都认为我们都明白这个65%和3%的含义;当我们听到气象播报员预测明天下雨的概率为95%时,大多数人出门都会带上一把雨伞。
除了这些我们自以为理解的可能性和比例问题外,统计革命对流行思潮和文化,有更深刻的影响力。即使实际测量的数据不够精确地与这些结论吻合,我们还是接受基于估计参数的科学研究结果。我们愿意根据众多数据算出的数来制定公共政策和安排我们的个人计划。我们认为搜集人口出生和死亡的数据,不仅是一个正当的程序,更有必要的工作,我们不必担心数人数会惹怒了上帝。从语言描述方面,我们用“相关”(correlation)或“相关的”(correlated)这两个词,好像它们意味着什么,也好像我们知道其含义。
写这本书的初衷是为了向那些没有数学专业背景的人士解释这场统计革命,我已经尽力描述了在这场革命背后的基本思想,它将如何应用于其他科学领域?它将如何最终主导几乎所有科学领域?我也尽力用语言和实例解释了一些数学模型,使大家不用再去研究抽象的数学符号就能够理解。
统计革命走到尽头了吗?
深邃未及的这个世界是一个集情感、事件与骚动的复杂混合体。我同意库恩的观点,我不相信人类的头脑能够构造一个理想的结构去解释、甚至不能挖地描述这个世界的真实情况。任何这种努力都存在根本的缺陷,最终,这些缺陷会变得非常明显,以至于科学模型必须不断地被修正,最终将走到它的终点,取而代之的是其它的什么东西。
随着统计方法应用的扩展,越来越多地应用到了人类生活的很多领域,哲学问题就显现出来。因此,我认为以讨论哲学问题作为本书的结尾是个好主意。接下来的将是在哲学领域中的一次冒险经历。读者可能想知道哲学究竟对科学信现实生活起到了什么作用。我的答案是,哲学并不是一些被称为哲学家的怪人们所做的神秘学术练习,哲学关注的是我们日常文化思想和活动的基本假设(underlying assumption)。我们的世界观来自于我们的文化,是受许多微妙的假设影响的,甚至很少有人会意识到它们。学习哲学会让我们揭开这些假设,并去检查它们的有效性。
我曾经在康涅狄格大学的数学系教过一门课程,这门课程有一个正式的名称,但是系里的人却更愿称之为“给诗人开的数学”。这门课只开一个学期,是为艺术专业的学生设计的,目的是向他们介绍基本的数学观念。在学期的开始,我向学生们介绍了16世纪意大利数学家吉罗拉莫?卡尔达诺(Girolamo Cardano)的一本书《高等艺术》(Ars Magna),在这本书中,第一次描述了代数的方法。与他的大部头著作相呼应,卡尔达诺在该书的介绍中写道:代数不是新东西。他暗示他不是无知的傻子,他认为自人类产生以来,人类对知识的掌握一直在减少,亚里士多德所拥有的知识远远要多于卡尔达诺那个时代的任何一个人。他断言不可能有新的知识。然而,由于他的无知,他没能在亚里士多德的著作中找到关于代数思想的参考书目,所以他就把代数——这个看起来像是新东西的概念介绍给读者,他确信一些更加有知识的读者会从古人的著作中找到出处,这看起来是新东西的观念一定会被找出来的。
坐在我教室里的这些学生,生活在一个不同的文化环境中,他们不但相信后人会发现新事物,而且事实上,还鼓励创新。他们被卡尔达诺震惊了。写这些是多么愚蠢的呀!我告诉他们,在16世纪的时候,因为当时的一些基本哲学假设,欧洲人的世界观具有局限性,他们的世界观中,一个重要的部分就是人类的堕落以及随之而产生的道德、知识、工业等所有事物的持续退化,这些在当时是如此的真实,以至于很少有人去探寻究竟。
我问学生们,他们的世界观的基本假设中,哪些可能在500年后看起来是很荒谬的?他们一个都想不出来。
因为统计革命的表面观念已经传播到现代文化中,越来越多的人相信所谓的真实性,而不考虑它的基本假设,所以,让我们用统计的宇宙观来考虑下面三个哲学问题:
1. 可以用统计模型来做决策吗?
2. 当概率应用于现实生活中时其含义是什么?
3. 人们真的懂得什么是概率吗?
可以用统计模型来做决策吗?
牛津大学的L?乔纳森?科恩(L. Jonathan Cohen)是被他称之为“帕斯卡式”(“Pascalian”)观点的尖锐批评家,所谓“帕斯卡式”观点就是认为可以用统计分布去描述现实。1989年他写了《归纳和概率的哲学导论》(An Introduction to the Philosophy of Induction and Probability)一书,书中他提出了一个关于彩票的悖论,他认为那是康涅狄格州卫斯理大学(Wesleyan University in Middletown Connecticut)的西摩?屈贝里(Seymour Kyberg)教授发明的。
假定我们接受假设或者显著性检验的观点,我们赞同如果现实中该假设的相应概率非常小,就可以拒绝这个假设。为了更进一步说明,假设0.0001就是一个非常小的概率,让我们组织一次公正的10000张彩票的抽彩活动。按这个假设,1号彩票中奖的概率,我们也可以拒绝这种假设,依次类推,我们可以拒绝类似的任何针对某号彩票的假设。按照这一逻辑规则,如果A不为真,B和C都不为真,那么A、B、C的集合也不为真。也就是说,按照这一逻辑规则,如果每一张彩票都中不了奖,那么就没有彩票可中奖(而事实却是总会有中奖的彩票)。
在科恩较早写的《可能与可证》(the Probable and the Probable)一书中,基于普遍的法律实践,他提出了这种悖论的一个变形。在习惯法(common law)中,一个涉及民事诉讼的原告提供了“有利”证据,其陈述看起来是真的,那么他就会胜诉,法庭接受原先诉求的概率高于50%。科恩还提出了一个关于“无票入场者”(gate crashers)的悖论:假设在一个有1000个席位的音乐厅里举办一场摇滚音乐会,主办单位只售出499张票,但是当音乐会开始的时候,1000个席位都坐满了,根据英国的习惯法,主办单位有权在音乐会上向每个现场的人收票钱,因为他们每个人无票入场的概率都是50.1%,这样,虽然音乐厅只有1000个席位,但是主办单位却将会有1499张门票的收入。
这两个悖论都说明了,以概率为依据所得到的决策是不合逻辑的,逻辑和概率是矛盾的。费歇尔在设计良好的实验基础上,利用显著性检验来证明科学研究中的归纳推理是可取的,但是科恩的悖论则表明,这样的归纳推理是不合逻辑的。杰里?科恩菲尔德根据积累的大量证据来判断吸烟会导致肺癌这个说法,但连续的研究表明,除非你假设吸烟是致癌的原因,否则这个结论是极不可能的。相信吸烟致癌是不合逻辑的吗?
以逻辑推理和统计为基础所得出决策上的不一致,是不能靠在科恩提出的悖论中找到错误的假设来解决的。这种不一致的深层次原因存在于逻辑的含义中(科恩认为概率模型可以由一种我们称为“模型逻辑”(model logic)的复杂数学逻辑结构来代替,但是我认为这个方法会产生更多的问题,比它所解决的问题还要多)。在逻辑上,一个命题是对还是错,我们是完全不同的。但是概率引入的观念却是说一些命题“可能”或者“多数”是对的。就是结果的这一点点不确定性,就使我们在分析原因和结果时,难以应用事物实质蕴涵的冷酷的精确性。在临床实验中,处理这类问题的方法,是把每个临床研究看作是对某个治疗方案的效果提供资料。这些资料的价值取决于这个研究的统计分析,但则无也取决于研究的质量。研究质量这一额外的测量决定了哪些研究对结论起决定作用。但是,质量的概念含糊不清而且难以计算,悖论依然存在,而且吞噬着统计方法的核心。这种不一致的毛病是否需要在21世纪发起一场新的革命?
当概率应用于现实生活中时,其含义是什么?
柯尔莫哥洛夫建立了概率的数学定义:概率是一个抽象空间里对一事件集合的一种测量。所有概率的数学特征都可由这个定义导出。当我们希望在现实中使用概率时,我们需要确定眼前特定问题事件的抽象空间。当气象播音员说明天降雨的概率为95%时,什么是所测量的抽象事件的集合?是指明天要外出的所有的人吗?其中有95%的人会淋雨?还是指可能逗留在外面的时间?其中有95%的时间我会淋雨?或是说在一个1平方英寸大的地方,有95%的面积会下雨?当然这些解释都不对,那么到底是什么意思呢?
柯尔莫哥洛夫之前的K?皮尔逊认为概率分布是可以通过收集到的数据观察得出的,我们已经看到了使用这个方法存在的问题。
威廉?S?戈塞特试图为一个设计好的试验描述其事件空间。他说事件空间就是试验得出所有可能结果的集合。这听起来可能是对的,但是在实践中却是无用的。在实验中,我们必须相当精确地描述出结果的概率分布,才能计算出统计分析中需要用到的概率值。“所有可能实验结果的集合”的概念非常含糊,我们怎样才能得到一个精确的概率分布呢?
起初费歇尔同意戈塞特的想法,继而他发展了一个更好的定义。在他的实验设计中,治疗方案是随机分配给各个实验单位的。如果我们想在肥老鼠身上做实验,比较两个治疗动脉硬化的方案,我们就随机地在一些老鼠身上使用A方法,而在其余的老鼠身上使用B方法。实验开始进行,我们开始观察结果。假设两种治疗方案具有同样的效果,因为动物是随机使用治疗方法的,所以另外一些分配治疗的效果应该是同样的。随机治疗方法的标签是不相关的,只要治疗效果是一样的,我们就可以在动物间随意调换。因此,对于费歇尔,事件的空间是所有可能随机分配的治疗方案的集合。这是一个事件的有限集合,所有的事件都是等概率发生的。在所有治疗方法的效果是相等的零假设(null hypothesis)条件下,实验结果的概率分布是可以计算出来的,这就是我们所说的排列检验(permutation test)或随机检验。当费歇尔提出这一检验方法时,还不能计算出所有可能的随机实验分配方式,费歇尔证明了,他的方差分析公式可以求得一个非常理想的排列检验的近似值。
那时还没有高速计算功能的计算机,而现在进行排列检验是可能的,因为电脑可以不知疲倦地进行计算,这样费歇尔的方差分析公式就不再需要了,而且很多数理统计学家经过多年求证得出的非常聪明的定理也不再需要了。只要数据结果是来自于一个随机控制的实验,就可以在计算机上用排列检验来进行所有的显著性检验。
如果对观测数据用一个显著性检验,那就不可能了。这是费歇尔反对吸烟与健康问题研究的主要原因。一些论文的作者使用统计检验方法证明他们的例子。费歇尔认为,除非他们研究的是随机化的实验,否则统计显著性检验就是不合适的。在美国法院中的歧视性案件就常常是根据统计的显著性检验来裁决的。美国最高法院(The U. S. Supreme Court)规定,统计显著性检验是一种可以在裁决中使用的方法,可以用来判定是否因为性别或种族歧视的原因而造成了影响。费歇尔如果知道,他一定会强烈反对。在20世纪80年代后期,美国国家科学院(The U. S. National Academy of Science)赞助了一项研究,研究在法院中使用统计方法作为裁决依据是否合理。这项研究的主持者是卡内基梅隆大学(Carnegie Mellon University)的斯蒂芬?菲恩伯格(Stephen Fienberg)和明尼苏达大学(the University of Minnesota)的塞缪尔?克里斯洛夫(Samuel Krislov)。这个研究小组在1988年发表了他们的研究报告。研究报告中的许多论文批判了将显著检验用于歧视性案件的作法,所持的论点类似于费歇尔在反对吸烟导致癌症的证据时所使用的理由。如果最高法院想在诉讼中使用显著性检验,它必须确定产生概率的事件空间。
如何找出柯尔莫哥洛夫事件空间?第二种方法来自于样本调查理论。当我们希望通过一个随机样本去判断整个群体的某些事时,我们要精确地确定要研究的人群总体,确立一个选取样本的方法,并且根据该方法进行随机抽样。在实验的结论中存在不确定性,我们可以使用统计方法来量化这一不确定因素。不确定性产生的原因,是因为我们处理的是样本而不是所有人群。我们研究的宇宙现象的真实数值是固定不变的,例如,支持总统施政政策的美国选民的百分数是确定的,只是他们不知道。能够使用统计方法的事件空间,是所有可能的随机样本的集合,同样,这是一个有限集合,它的概率分布是可以计算出来的。概率在现实生活中的含义清楚地建立在抽样调查之上。
当统计方法应用于天文学、社会学、流行病学、法律或者天气预报等观测研究中时,事件空间就不好确定。在这些领域之中的很多争论,通常都是因为不同的数学模型会产生不同的结论。如果我们不能确定可进行概率计算的事件空间,那么就不能说某种模型比另外一种更适用。就像在很多法律案件中所显示的那样,两个统计专家分析同一组数据却得不到统一的结论。当统计方法越来越多地被政府和社会团体应用到观察研究和解决社会问题时,这个基本问题的存在,即不可能算出确切概率的事实,将使人们对这些统计方法的有效性产生怀疑。
人们真的懂得什么是概率吗?
概率在现实生活中还有一个含义是“个人概率”。美国的L?J?萨维奇和意大利的布鲁诺?德费奈蒂是倡导这种观点的先驱。其先驱地位的确定是因为萨维奇1954年出版的《统计学基础》(The Foundations of Statistics)一书。在这种观点下,概率是一个广泛的概念,人们很自然地使用概率来支配生活。在进行冒险前,人们总会本能地根据可能产生结果的概率根据可能产生结果的概率进行决策,如果预想危险的概率很高,人们就会采取回避的态度。对萨维奇和德费奈蒂来说,概率是一个普通的概念。人们不必去联系柯尔莫哥洛夫的数学概率,我们所要做的就是建立一些一般性的规则,将个人概率与生活联系起来,因此,我们只要假设人们在判断事件的概率时所遵照的规则是一致的就可以了。萨维奇在这一假设下提出了一些关于内部一致性的规则。
按照萨维奇和德费奈蒂的方法,个人概率对每个人来讲是独特的。对同样的数据进行同样的观察,有的人会判断降水概率是95%,有的人则会判断是72%,这样的事情是极有可能发生的。利用贝叶斯定理,萨维奇和德费奈蒂向人们展示了具有相同个人概率的两个人如果分析的是同一序列数据,最终他们会得到相同的概率估计。这是一个令人满意的结论:人看起来都是不同的,但却都是理性的。如果提供了足够的数据,理性的人们会最终求得共识,哪怕最初他们是存在意见分歧的。
约翰?梅纳德?凯恩斯在1921年发表的题为《关于概率的讨论》(A Treatise on Probability)的博士论文中,对个人概率提出了不同的看法。凯恩斯认为,概率是在某一文化教育背景下的人们,对其既定情况的不确定性的测量,概率的判断不仅是个人内心的直觉,还与个人的文化背景有关系。如果我们想在72%和68%之中作出哪一个更准确的选择,用凯恩斯的方法就会很困难,因为人们的总体文化水平很难达到精确的同一程度。凯恩斯指出,如果只是为了做决定,我们很少或根本不必去知道这些事件确切的概率数值,只要将事件进行排序就足够了。根据凯恩斯的理论,我们只要知道哪一事件更可能发生就可以了。明天下雨比下冰雹的可能性要大,或者说明天下雨的可能性是下冰雹可能性的两倍。凯恩斯指出,概率可以是部分排序(partial ordering)。不必要把每件事与其它事情进行比较。我们可以忽视某些概率关系,如根本不必要把扬基队得总冠军的概率与明天下雨的概率联系起来。
照这样,关于概率含义的两个结论取决于人类对不确定性量化的愿望,或者至少是大致的量化的要求。在凯恩斯的《关于概率的讨论》中,他为他的个人概率的部分序列设计出了一个正式的数学结构。他的做法比柯尔莫哥洛夫为数学概率建立基础理论还要早。他所做的工作没有借鉴柯尔莫哥洛夫的理论。凯恩斯声称,他的概率的定义有别于1921年提出的概率数学的一系列数学计算公式。为了使凯恩斯的概率定义得到应用,使用者还必须符合萨维奇的一致性原则。
凯恩斯的定义提供了关于概率的一种观点,它是用统计方法进行决策的基础。这种观点认为概率不再以事件空间为基础,而是产生于所涉及人员的个人感觉的数值。接着希伯来大学(Hebrew University)的两个心理学家——丹尼尔?卡内曼(Daniel Kahneman)和阿莫斯?特韦尔斯基(Amos Tversky)开始了他们关于个人概率的心理学研究。
在20世纪70年代和80年代间,卡内曼和特韦尔斯基研究了个体理解概率的方式。他们的研究成果编入了由P?斯洛维奇(P. Slovic)编辑的《不确定情况下的判断——启发与偏见》(Judgment under Uncertainty: Heuristics and Biases)一书中。他们为大学生、大学教员和一般的市民提出了许多概率场景,他们发现没有人符合萨维奇的一致性原则,相反,大多数人对不同概率数值的含义甚至没有一个一致的观点。他们所发现最好的一点就是人们对50:50和“几乎肯定”的含义有着一致的认识。通过卡内曼和特韦尔斯基的研究,我们可以得出结论:天气预报员尽力想区分降雨概率90%和75%间的不同,但实际上他们根本不可能说清楚,而那些预报的收听者也不可能真的说清楚这两者间的区别。
1974年,特韦尔斯基在皇家统计学会的一次会议上宣布了他的研究结果。在随后的讨论中,斯坦福大学的帕特里克?苏佩斯(Patrick Suppes)提出了一个简单的概率模型,符合柯尔莫哥洛夫的公理,并且也模拟卡内曼和特韦尔斯基的发现。这意味着用这个模型的人在他们的个人概率方面应该是一致的,在苏佩斯的模型中只有五个概率值:
必然为真
为真的可能性大
为真的概率为一半
为真的可能性小
必然为假
这导出了一个很无趣的数学理论。大概只有六个理论可由此模型导出,并且它们的论证几乎是不言而喻的。如果卡内曼和特韦尔斯基是对的,那么惟一有用的个人概率将对奇妙的抽象数学理论十分不利,并且由此产生的统计模型极基有限。事实上,如果苏佩斯的模型是惟一适合个人概率的模型,许多标准统计分析方法就毫无用处了,因为它们算出的差异水平低于人类感觉的水平。
概率真的必要吗?
统计革命背后的基本观点是:科学真实的主体是数字的分布,这个分布可以通过参数来描述。将概念溶入概率理论并处理概率分布,这是数学的方便之处。将数字的分布看作是概率数学理论的元素,这样就可以建立参数估计量的最优化标准,然后,去解决用数据描述分布时遇到的数学问题。因为概率看起来与分布的概念的关系是与生俱来的,许多人做了很多工作,试图让人们理解概率的含义,努力将概率的含义与现实生活联系起来,并且使用条件概率这一工具去解释学实验和观测的结果。
分布的思想可以存在于概率理论之外。事实上,许多“非正常分布”(improper distributions)(因为这些分布不符合概率分布的所有要求)已经应用于量子力学和一些贝叶斯方法中。排队论(queuing theory)(指两次排队间的平均间隔时间等于在队伍中等候的平均时间)的发展,推导出一个非正常的分布——描述一个人加入队伍必须要等候的时间。这正是一个将概率论的数学理论应用于实际生活,同时却将我们带离概率分布集合的一个例子。
21世纪将会发生什么事?
柯尔莫哥洛夫表现出来的最后的聪明才智,是他用一组有限符号序列的特性来描述概率。在这个描述中,信息理论不是概率计算的结果,而是概率本身的起源。也许在将来,某个人会继续他的工作,并且发展一个新的分布理论,而在新的分布理论中数字计算机的特性会被带入哲学理论的范畴。
谁知道呢?也许在什么地方有另外一个费歇尔,正工作于科学的最前沿,并在不久的将来,会以其前所未有的见识和观念打破目前的书面?也许在中国的内地,另一个吕西安?勒卡姆已经在一个没有文化的农家出生了;或者在北美,另一个乔治?博克斯只上了初中就休学了,现在正在做机修工,正在努力自学;也许另一个格特鲁德?考克斯将要放弃当传教士的愿望,被科学和数学的谜团深深吸引;或者另一位威廉?S?戈塞特正在努力寻找方法去解决啤酒发酵问题;或者另一个奈曼或皮特曼正在印度某个偏远的地方学院里教书,并且思考着深奥的问题。谁知道下一个伟大的发现将发生在什么地方?
当我们进入21世纪的时候,统计革命在科学领域取得了胜利,除了极少数的角落,它已经征服了科学界几乎所有领域的决定论观点。统计观点的应用如此广泛,以至于其基本假设已经成为西方世界通俗文化的一部分,就如同一尊泥菩萨一样立在那里,洋洋得意,而在未来的某个隐蔽的角落,另一场科学革命正在孕育,而那些即将发起这场革命的男男女女,可能正生活在我们中间。
作者后记
在写这本书之前,我已经将那些对统计发展有贡献的女士和先生们分成了两组,一组是我在书中提及到的,一组是我没有提及的。第一组人可能对我在书中只提及他们一小部分的工作而感到不满意,第二组人可能会因为我根本就没有提及他们的工作而表示抗议。。为了表达我对他们的敬意,我有必须解释一下我取舍的原则。
对第一组取舍的原因在于:现代科学的范畴太大了,任何人都不可能知道它所有的支派。因此,在有些研究领域,统计方法的应用可能非常广泛,但是我却不知道。在20世纪70年代,我曾查找过关于计算机在医学诊断中应用的资料。在查找过程中,我发现有三个互相独立的支派,在任何一个支派内人们互相引述论文,并且都发表在同一份期刊内,但是,不同派别的科学家却很少了解其他派别的人在做什么。这还只是在医学界这样一个小小的相关领域中的情形,在更广阔的科学界,可能有很多人群在应用统计方法,并且可能有一些成果在我从来没听过的期刊中发表。我对统计革命结果的认识,来自于对一些数理统计主流期刊的阅读。不阅读这些主流期刊或者不在这些期刊中发表文章的统计学家,就像发展模糊集合论(fuzzy set theory)的工程师,他们可能做了很多值得记载的工作,但是因为他们不在我知道的科学或数学期刊上发表文章,那么他们的工作就不会被包括进来。
有些东西我是知道的,但还是被省略了。我不想写一本关于统计方法论发展的全面的历史书,因为这本书的读者定位是一些不懂或者略懂数学的人,所以我不得不选择一些能用文字而不是用数学符号来解释的例子,这就更进一步限定了我的选择。另外,我还想让这本书读起来比较流畅,如果我用了数学符号,我可能就可以说明了众多主题间的关系了。但是没有数学符号,这本书很容易退化为一种观念的介绍,这些观念间没有什么关系。这本书需要一条主线将各个主题组织起来,我所选择的贯穿20世纪统计学复杂理论的主线是与别人不一样的,一旦这条主线确定了,我就不得不忽视了统计学的很多方面,而实际上,我对它们同样非常感兴趣。
在我的书中,很多人我都没有提及到,这并不代表他们的工作不重要,更不代表我认为他们的工作不重要。仅仅是因为本书的结构限制,我没有办法将他们的研究写进来,只好放弃。
我希望读者读了本书后能有所启发,去进一步了解统计革命的内涵。我希望有人在读后甚至能钻研这个题目,加入统计研究的行列。在参考书目中,我选择了一些供没有数学学习背景的人阅读的图书和文章。在这些书中,其他许多统计学家尝试向我们解释了统计所学带给他们的乐趣,那些想进一步了解统计革命的读者将会喜欢其中的一些书。
我要感谢W. H. Freeman出版的公司相关人员在本书出版过程中所做的工作。感谢Don Gecewicz细致的校对与编辑;感谢Eleanor Wedge和Vivien Weiss最后文字定稿和进一步的校对;感谢Patrick Farace对本书潜在价值的肯定;感谢Victoria Tomaselli、Bill Page、Karen Barr、Meg Kuhta和Julia Derosa对本书的美术制作工作。
大事年表
年份 事件 人物
1857 卡尔?皮尔逊出生 K?皮尔逊(Karl Pearson)
1865 圭多?卡斯泰尔诺沃出生 G?卡斯泰尔诺沃(Guido Castelnuovo)
1866 格雷戈尔?门德尔从事植物杂交实验 G?门德尔(Gregor Mendel)
1875 弗朗切斯科?保罗?坎泰利出生 F?P?坎泰利(Francesco Paolo Cantelli)
1876 威廉?西利?戈塞特出生 W?S?戈塞特(“学生”)(William Sealy Gosset)
1886 保罗?利维出生 P?利维(Paul Lévy)
1890 罗纳德?艾尔默?费歇尔出生 R?A?费歇尔(Ponald Aylmer Fisher)
1893 普拉桑塔?钱德拉?马哈拉诺比斯出生 P?C?马哈拉诺比斯(Parasanta Chandra Mahalanobis)
1893 哈拉尔德?克拉美出生 H?克拉美(Harald Cramér)
1894 耶日?奈曼出生 J?奈曼(Jerzy Neyman)
1895 发现偏斜分布 K?皮尔逊
1895 埃贡?S?皮尔逊出生 E?S?皮尔逊(Egon S. Pearson)
1899 切斯特?布利斯出生 C?布利斯(Chester Bliss)
1900 格特鲁德?M?考克斯出生 G?M?考克斯(Gertrude M. Cox)
1900 重新发现格雷戈尔?门德尔的成果 W?贝特森(W. Bateson)
续1
年份 事件 人物
1902 《生物统计》(Biometrika)第1期出版 F?高尔顿(F. Galton)、K?皮尔逊、R?韦尔登(R. Weldon)
1903 安德烈?尼古拉耶维奇?柯尔莫哥洛夫出生 A?N?柯尔莫哥洛夫(Andrei Nikolaevich Kolmogorov)
1906 塞缪尔?S?威尔克斯出生 S?S?威尔克斯(Samuel S. Wilks)
1908 《平均数的可能误差》(“The probable Error of the Mean”)“学生”t检验(student’s t-test) W?S?戈塞特
1909 弗洛伦斯?南丁格尔?大卫出生 F?N?大卫(Florence Nightingale David)
1911 弗朗西斯?高尔顿爵士去世 F?高尔顿(Francis Galton)
1911 《科学的法则》(The Grammar of Science) K?皮尔逊
1912 杰尔姆?科恩菲尔德出生 J?科恩菲尔德(Jerome Cornfield)
1912 费歇尔发表第一篇论文 R?A?费歇尔
1915 相关系数(correlation coefficient)的分布 R?A?费歇尔
1915 约翰?图基出生 J?图基(John Tukey)
1916 格利文科-坎泰利引理(Glivenko-Cantelli lemma)首次出现 F?P?坎泰利
续2
年份 事件 人物
1917 L?J?萨维奇出生 L?J?萨维奇(L. J. (“Jimmie”) Savage)
1919 《概率运行与应用》(Calcotlo della probabilità…)出版 G?卡斯泰尔诺沃(G. Castelnuovo)
1919 费歇尔在罗森斯特实验站(Rothamsted Experimental Station) R?A?费歇尔
1920 关于勒贝格积分(Lebesgue integration)的第一篇论文发表 H?勒贝格(H. Lebesgue)
1921 《关于概率的讨论》(A Treatise on Probability) J?M?凯恩斯(J. M. Keynes)
1921 《作物收成变动研究Ⅰ》(Studies in Crop Variation. Ⅰ) R?A?费歇尔
1923 《作物收成变动研究Ⅱ》(Studies in Crop Variation. Ⅱ) R?A?费歇尔
1924 《作物收成变动研究Ⅲ》(Studies in Crop Variation. Ⅲ) R?A?费歇尔
1924 《消除心智缺陷》(The Elimination of mental Defect)——费歇尔关于优先学的第一篇文章 R?A?费歇尔
1925 《研究工作者的统计方法》(Statistical Methods for Research Workers)第一版出版 R?A?费歇尔
续3
年份 事件 人物
1925 统计估计理论(极大似然估计(ML Estimation)) R?A?费歇尔
1926 关于农业实验设计的第一篇论文 R?A?费歇尔
1927 《作物收成变动研究Ⅳ》(Studies in Crop Variation. Ⅳ) R?A?费歇尔
1928 奈曼-皮尔逊(Neyman-Pearson)关于假设检验(hypothesis testing)的第一篇论文 J?奈曼、E?S?皮尔逊
1928 三条极值渐近线 L?H?C?蒂皮特(Tippett)、R?A?费歇尔
1928 《作物收成变动研究Ⅵ》(Studies in Crop Variation. Ⅶ) R?A?费歇尔
1930 《数理统计年报》(Annals of Mathematical Statistics)第一期出版 H?卡弗(H. Carver)
1930 《自然选择的遗传理论》(The Genetical Theory of Natural Selection) R?A?费歇尔
1931 印度统计研究所(Indian Statistical Institute)成立 P?C?马哈拉诺比斯(P. C. Mahalanobis)
1933 概率的公理化 A?N?柯尔莫哥洛夫
1933 《印度统计年报》(Sankhya)第一期出版 P?C?马哈拉诺比斯
续4
年份 事件 人物
1933 概率单位分析(probit analysis)成果完成 C?布利斯(C.Bliss)
1933 塞缪尔?S?威尔克斯到达普林斯顿(Princeton) S?S?威尔克斯(Samuel S. Wilks)
1934 奈曼的置信区间(confidence intervals) J?奈曼
1934 中心极限定理(central limit theorem)的证明 P?利维、J?林德伯格
1934 切斯特?布利斯在列宁格勒植物保护研究所(Leningrad Institute for Plant Protection) C?布利斯(Chester Bliss)
1935 鞅理论(martingale theory)的首次发展 P?利维
1935 《实验设计》(The Design of Experiments)出版 R?A?费歇尔
1936 卡尔?皮尔逊去世 K?皮尔逊
1937 利用随机抽样对美国失业普查进行数字检查 M?汉森(M. Hansen)、F?斯蒂芬(F. Stephan)
1937 威廉?西利?戈塞特去世 W?S?戈塞特(“学生”)