收集数字的方法
统计数据中含有数字并不就一定意味着这些数字在收集方面也恰当无误。请回想一下，在本部分的开篇，我们曾提到，判断一项统计属实与否，还应当考虑统计者这个因素，因为统计的对象、方法等皆由统计者甄选和采用。在数字的收集过程中，经常会出现很多错误和偏见，而它们往往能够误导成千上万的人得出错误的统计结论。尽管我们绝大多数人都不可能参与到每项统计的数字收集过程之中，但是我们却可以轻松做到学着对它们进行批判性思考。
我们可以使用很多方法来获取统计数据：查看记录（比如政府机构、医院或教堂里的出生和死亡记录），做调查研究和民意测验，通过观察（比如统计经过主街和第三街道拐角的电动车数量）或者利用推理（如果尿布的销量上升，那么婴儿出生率极有可能提高）。在使用上述方法获取统计数据的任何一个阶段，偏见、误差和无心之过都有可能随时产生。提出“我们真的能够知道吗”和“我们怎样知道”这样的问题，本身也是我们在评估表述时需要做的一部分工作。
抽取样本
天体地质学家只采集月球上的岩石标本，不会去检测月球上的所有岩石。为了弄清楚哪位候选人在得票数方面领先，研究人员不会与每位选民交谈。为了了解病人在接受医生诊治之前需要在候诊室里等待多长时间，研究人员也不会统计记录每一位进入急诊室的病人的等待时间。假如那样做，要么不切实际，要么成本太高。相反，研究人员使用抽取样本的方法来对真实的数字做出估计。当抽样比较合理时，这些估计就会极其准确。在公共民意测验中，为了对美国全国范围内人们（大约2.34亿名年龄超过21岁的成年人）如何看待某件事情做出估计，我们只需要采访1067个人即可。为了准确地了解某个器官的癌症发病率，我们只需要抽取该器官不到千分之一的样本，然后做活组织切片检查就行。
统计样本一定要具有代表性。在你研究的统计群组中，如果每个人或物被选为样本的可能性都相等，那么你的样本就具有代表性。否则，样本就存在偏差。如果器官的某一部分发生了癌变，而你在抽取样本时却选择了错误的部分，那就无法诊断癌症。如果器官上只有很小的一部分发生了癌变，你在该处抽取了15个样本，你也许就会得出整个器官发生癌变的结论，真实情况却并非如此。
就活组织切片检查或公共民意测验来说，我们并不总是能够提前知道统计群组中存在多少个差异性。如果在整个人群中每人都相同，那么我们就只需要抽取他们中的一个作为样本。假如我们面对的是一群基因完全相同的人，每个人的个性和生活经验也完全一样，那么只需要分析其中一个人的情况，就可以得到我们想知道的关于所有人的任何情况。但是，每个群组都会包含一些差异性，群组各成员之间也存在一定的差异，所以我们需要对自己的抽样方法保持谨慎态度，以确保我们能够获取所有重要的差异（并非所有的差异都重要）。例如，如果不让某人呼吸氧气，我们知道这个人必定会死去。在这一点上，整个人类都不存在差异（尽管在没有氧气的情况下，人们能够存活的时间长短有差别）。但如果我想知道一个人能够卧推多少磅 [1] 的重量，那么变量的范围就很宽泛了——我就需要对一个由不同的人组成的巨大人群横截面进行计量，以获取一个范围和一个稳定的平均值。我会抽取体型大的人、体型小的人、肥胖的人、瘦小的人、男人、女人、儿童、健身的人和终日懒散的人、服用合成代谢类固醇的人以及滴酒不沾的人。此外，一些其他因素也很有可能是我们必须要考虑的。比如，在测试的前一天晚上，接受测试的人睡了多长时间，从他们最近一次吃东西到测试时经过了多长时间，他们是怒气冲冲还是心平气和，等等。当然，还存在一些我们认为根本无关紧要的因素：魁北克圣·休伯特机场当天的空中交通指挥员是男性还是女性；亚伯丁市一家餐馆里的任意一位顾客是否得到了餐馆及时的招待服务。虽然这些因素有可能会影响我们做的其他统计计量（航空旅行业潜在的性别歧视，西北部餐饮业的顾客满意度），但不会对卧推力量统计产生影响。
统计学家要做的工作就是把与统计相关的事情列在一个清单上，最终目的是获得一个具有代表性的统计样本。研究者一定要克服这样一种习惯，即倾向于捕捉那些易于辨识的变量或收集数据比较容易获取的变量——与统计相关的事情有时候并不是显而易见的，有时候它们还很难计量。正如伽利略所说的那样，科学家的工作就是计量那些可以计量的事物，以及使那些不可计量的事物变得可以计量。这就是说，科学领域一些最具创造性的行动就是要弄清楚如何去计量那些存在差异的事物和那些前人没有弄清楚如何计量的事物。
但即便是对那些已知的变量进行计量和控制，也仍然存在挑战性。假设你要研究美国人对于气候变化的看法。你获得了一些研究经费，可用来雇用研究助手和购置一个可以在电脑上运行的统计数据程序。由于自己恰好居住在旧金山市，所以你决定就地开展这项研究。然而，你的研究此时已然存在问题：旧金山市并不能代表加利福尼亚州的其他地方，更遑论代表整个美国了。认识到这一点后，你决定在8月开始做民意调查，因为有研究表明那个时候正是旅游旺季——来自全美各地的人都会齐聚旧金山，所以（你自认为）届时你肯定能够获得全体美国人这个研究对象的一个人群横截面。
请稍等！那些来旧金山旅游的人真的能够代表其他美国人吗？你的研究样本会偏向于有财力能够去旧金山旅游的那些人，以及那些打算在城市度假而不是在国家公园之类的地方度假的人（你的样本也有可能偏向于自由主义者，因为旧金山是一个有名的自由之城）。
因此，你已经明确地知道，自己无法针对全体美国人来做关于气候变化看法的调查研究。但是，你却可以针对旧金山市的人来做这项调查研究。你把研究助手们派到联合广场，并请过往的人回答一份简短的调查问卷。你要求助手们调查不同年龄、不同民族、不同穿衣风格，以及有没有文身的人——总之，要获得一个有差异性的群组横截面样本。但是，你的研究仍然存在问题，因为你的调查有可能无法覆盖那些久病在床的人、在家照料小孩的母亲、白天睡觉的倒班的人，以及由于各种不同的原因而没有来到联合广场（此地属于旧金山市商场和餐馆比较昂贵的地区）的成百上千的旧金山市民。把你一半的助手派到教会区有助于解决样本中人们代表不同的社会经济地位方面存在的问题，但这个方法却不能解决你面临的其他问题。判断一个样本是否属于随机样本的方法是在整个群组中每个人或事物被你和你的研究小组所计量的概率是否相等。此处，答案显然是否定的。
因此，你又做了一个分层随机抽样。也就是说，你首先辨认出自己感兴趣的不同社会阶层或亚组，然后按照其所占总人口的比例从中抽取相应数量的人作为样本。在做完关于气候变化的一些研究之后，你发现人们对气候变化所持的态度与人们的种族似乎没有关系。 [2] 所以，你没有必要根据被调查者所属的种族来创建次级样本。这样也比较好，因为要对人们的种族分类做出假设确实很困难，或者说那样做会冒犯别人。那么怎样处理那些属于混合种族的人呢？是把他们归入现有的某个类别中，还是创建一个新的类别？可然后呢？为美国人创建一个黑人—白人、黑人—西班牙裔、亚洲人—波斯人诸如此类的种族类别吗？这样一来，新创建的类别可能会由于太过琐碎，从而导致你的分析出现问题。这是因为，你手头上特点鲜明的类别的数量实在太多了。此外，还存在另一个障碍：你还要求所选取的样本能够体现出年龄上的差异，但并非所有人都愿意透露自己的年龄。 [3] 你的样本能够选取到那些年龄明显在40岁以下和40岁以上的人，但却会错失那些30多岁和40岁出头的人。
为了解决白天人们不出来走动为样本抽取带来的问题，你决定登门采访。但是，如果白天去，你会错过那些白天出去上班的人；而如果傍晚去，那么你就会错过那些出去过夜生活的人、上夜班的人、参加晚上教堂活动的人、出去看电影的人，以及出去吃晚饭的人。一旦你自己感觉比较满意时，怎样在亚组中抽取随机样本呢？上面所提到的所有问题仍然存在——创建亚组的方法并不能够解决亚组本身存在的问题。你仍然需要尝试寻找一个合理的代表方法，来代表那些对你的数据有影响的全部其他因素。此处，我们的感觉就像我们只有对月球上的所有岩石进行抽样，才能做出一个好的分析一样。
不过，千万不要灰心丧气。分层随机抽样还是要好于不分层随机抽样。如果你针对大学生展开一项随机抽样调查，请他们描述自己的大学生活体验，那么很有可能出现的情况是，你最终得到的样本中的大学生全部来自规模较大的州立大学——随机抽样法选中这些大学生的可能性更大，原因在于此类大学生的数量实在太多了。假如那些来自规模较小的大学，且属于人文学科类的大学生，他们的大学生活体验与上述大学生很不同，那么你就需要确保你的样本中包含这类大学生，而分层抽样法就能够确保你的调查提问可以覆盖那些来自不同规模的大学的学生。随机抽样应当与便利抽样或配额抽样有所区别。便利抽样或配额抽样指的是针对你所认识的人或者大街上那些看似有助于调查的人进行抽样调查的一种抽样方法。如果不进行随机抽样，那么你的调查就极有可能出现偏差。
“针对经常出没于这栋大楼外人行道上的鸟儿做完抽样调查之后，我们已经得出统计结论：鸟类真正喜爱的食物是百吉面包圈！”
因此，通过抽取样本进行数据收集的过程就像是一场永不终结的战争，而其目的就在于避开那些产生偏差的源头。相关的研究人员并不总是能够完全取得这场战争的胜利。当我们每次从报纸上读到“71%的英国人喜欢某事物”之类的统计结果时，我们都应当有所反思地提出这样的问题：“是的，但所指的是71%的哪一类英国人呢？” [4]
在上述所有这些问题之外，还存在这样一个事实：我们向人们提出的任何调查问题都只是我们可以向其提出的众多问题中的一个样本，而人们相应的回答也只是他们众多复杂态度和体验当中的一个样本。更为糟糕的是，调查对象可能理解，也可能不理解我们提出的问题，他们在回答问题的时候还可能没有做到全神贯注。与调查人员愿意承认的情况相比，一种出现次数更为频繁的情况是，调查对象有时候会给出一个错误答案。人类具有社会属性，很多人都极力避免对抗并愿意取悦他人，所以他们会给出自认为调查人员想要得到的那种答案。另外，被剥夺社会权利的人和那些社会异类分子也大有人在，仅仅是为了使调查人员感到震惊，或者是作为一种对叛逆人格的尝试，因而想看看震惊和挑战别人是否会有快感，他们往往也会给出错误答案。 [5]
获得没有偏差的样本绝非易事。当听到一项新的统计时，我们就要提问：“什么样的偏差会悄然进入该项统计的样本抽取过程？”
统计样本可以使我们对某些事情做出估计，它们几乎总会在一定程度上偏离真正的数字，偏离度可大可小，这就是所谓的误差幅度。我们要把误差幅度看作没有针对研究对象进行逐一的调查提问，或对月球上的每一块岩石进行取样，由此而付出的一种代价。 [6] 当然，即使你对调查对象群体中的每个人都逐一做了采访和统计计量，但由于计量策略本身存在瑕疵或偏差，统计错误仍然会存在。误差幅度并不能解决研究本身潜在的瑕疵问题，它只能够说明统计抽样的程序出现错误的程度。但是，我们把可能存在的深层次瑕疵问题暂时搁置一会儿，先来探讨一下任何严格定义的样本都摆脱不了的另外一项计量或统计：可信区间。
误差幅度指的是统计结果的精确度，而可信区间则指的是你对自己的估计落在误差幅度之内有多么自信。例如，在一个标准的双向调查中（这类调查的调查对象有两种可能性），由1067名美国成年人构成的一个随机样本在两个方向上所产生的误差幅度均为3%左右（我们写作±3%）。所以，假如某项调查显示，45%的美国选民支持候选人A，47%的选民支持候选人B，那么对于候选人A来说真正的支持率在42%~48%，而对于候选人B来说则在44%~50%。请注意，这两位候选人真实支持率范围存在相互交叉的情况。 [7] 这就是说，候选人A和B在选民支持率上的两个百分点的差别落在了误差幅度之内：我们不能说其中的一个候选人的支持率高于另一个候选人，因此该项选举处于伯仲之间。
误差幅度是3%而不是更多，我们对此有多少信心呢？我们可以计算一下可信区间。在我提到的特殊例子当中，我汇报的可信区间是95%。也就是说，假如我们做100次同样的调查，并且采用同样的抽样方法，那么在100次调查中我们有95次所获得的数值都会包含真实的数值；而在100次调查中有5次我们所获得的数值会落在真实数值范围之外 [8] 。可信区间并不能告诉我们统计数值落在真实数字范围之外的程度——它可以是一个较小的差异，也可以是一个较大的差异，其他的统计数据能够对此做出判定。
我们可以把可信区间的数值设定在自己想要的任何水平之上，但一般会取95%。想要获得范围更小的可信区间，你可以采取两种方法：（1）在给定可信区间数值的情况下，增加样本的数量；（2）在给定样本大小的情况下，减小可信区间数值。当样本大小一定时，把可信区间水平从95变为99，将增大可信区间的范围。鉴于很多外在的境况往往会在第二天或第二周改变人们的想法，所以在多数情况下，由于这种做法会增加统计费用或引起不便，故并不值得采用。
请注意，对于非常大的样本群体——比如全体美国人——我们只需抽取其中很小比例的一个样本。在这个例子中，所抽取的样本比例不超过0.0005%。但是，对于较小的样本群体——比如一家公司或一所学校——我们就要求抽取一个比例较大的样本。对于一家员工总人数达10000名的公司来说，为了取得3%的误差幅度和95%的可信区间，我们就需要抽取其中的964人（比例几乎为10%）作为样本；而对于一家员工总人数为1000的公司，我们需要抽取的样本人数则将近600人（比例为60%）。
误差幅度和可信区间适用于任何种类的统计抽样，并非仅限于关于人的统计抽样，比如城市电动车比例的抽样、胰腺恶性细胞抽样，或者超市里销售的鱼类制品的汞含量抽样。下图展示了当可信区间为95%时误差幅度和样本大小的情况。
本书末的注释部分介绍了计算误差幅度（和可信区间）的公式。 [9] 此外，网络上也有很多相关的计算器可以帮助你进行计算。如果你看到有人虽然引用了统计数据，但却没有给出误差幅度，那么在被调查人数已知的情况下，你就可以自己进行计算。你会发现，在很多情况下，统计汇报者或调查机构并没有提供此类信息。这种统计数据就如同没有数轴的图一样——采用隐瞒误差幅度或可信区间的方法，你可以很轻易地利用统计数据说谎。请看一个例子：在密西西比州州长选举中，我的一条名叫“影子”的狗是其中一名候选人。它的支持率处于领先地位，76%的选民都把选票投给了它而非其他候选人。（没有报告出来的误差幅度为±76%；请为“影子”投票吧!!!）
抽样偏差
当研究人员努力获取随机样本时，在判断一个人或事物是否以同样的可能性被抽取为样本方面，他们有时候也会犯错。
1936年的美国总统大选就出现了一个低级错误。当时，《文学文摘》（Literary Digest ）开展了一项民意调查，并得出结论说共和党总统候选人阿尔夫·兰登（Alf Landon）将会战胜竞争对手——民主党候选人、现任总统罗斯福。《文学文摘》针对杂志读者、有车族以及电话客户等做了调查，但它并不是一个随机样本。对此，很多学术刊物和大众刊物都引用了这样一种常规解释：1936年的这项民意调查严重偏向于那些更有可能投票支持共和党候选人的富人。但事实上，根据乔治·盖洛普（George Gallup）1937年所做的一项民意调查，这种解释是错误的，因为有车族和拥有电话的人更有可能投票支持罗斯福。 [10] 该项民意调查的偏差之处在于，罗斯福的支持者参与该项民意调查的可能性小之又小。盖洛普当时发现了这个抽样偏差，并且使用随机抽样的方法独立地进行了民意调查，最终正确地预测了那届总统大选的结果。盖洛普民意调查由此正式扬名。这项调查随后一度成为政治类民意调查的黄金标准，直到2012年美国总统大选，它才首次马失前蹄。后来，一项调查揭示出了它的抽样程序存在致命瑕疵。 [11] 有讽刺意味的是，盖洛普民意调查的这次失误恰好与拥有电话的调查对象有关。
20世纪三四十年代，通过电话开展的民意调查往往偏向于富人。与此相似，如今通过座机进行的抽样调查则偏向于老年人。所有通过电话进行的抽样均假定，拥有电话的人一般来说能够代表全体人民。然而，这种情况其实并不绝对。在硅谷工作的很多员工，他们交谈时使用的都是互联网应用程序，所以电话抽样可能无法代表这些从事高科技工作的人。
在篮球场周边抽取人均身高的样本，在失业办公室附近抽取样本来分析人们的收入情况，只在一家冶炼厂周围抽取样本来估计全国的肺癌发生率，采用这些方法你都可以实现不着痕迹地利用统计数据说谎的目的。假如你不主动透露自己抽取统计样本的方法，那么其他人无论如何也不会知道。
参与偏差
那些愿意参与一项统计调查活动的人和那些不愿意参与的人相比起来，他们在诸如政治观点、性格以及个人收入等重要方面可能不尽相同。类似地，那些对统计征募通知做出回应的人——愿意参与你的调查研究的人，也许对你感兴趣想要调查的事物持有赞同或反对的偏见。如果你试图吸收“一般”的人参与你的调查研究，当你提前告知他们调查将会涉及的内容时，你就有可能引起参与偏差。一项关于性态度的调查研究会偏向于那些更愿意透露性态度的人，同时会偏离性格腼腆和为人拘谨的人，而一项关于政治态度的调查研究则会偏向于那些愿意谈论政治话题的人。正因为如此，很多问卷调查、实地调查和心理研究要么不提前向调查对象透露它们所要研究的问题，要么采用研究人员不感兴趣的一套不相干问题来掩盖调查研究的真正目的。
那些参与整个调查过程的人很可能不同于那些在调查结束之前就退出的人。在你联系到的人当中，总有一些人不会对调查做出回应。当对你的调查做出回应的人和不做回应的人在类型方面存在差异时，这些不回应调查现象的存在就会带来偏差。它所形成的特殊种类的抽样偏差被称为无回应误差。
我们假设你在哈佛大学工作。你想要说明你们学校的毕业生在毕业两年后一般都能获得高工资。所以，你向每名毕业生都发送了一份调查问卷。然而，此时你的调查俨然已经存在问题。首先，毕业生中有些人已经搬家却并未通知哈佛大学，有些人尚在监狱服刑，还有些人属于无家可归者。这些人都无法收到你的调查问卷。其次，在对调查活动做出回应的毕业生当中，那些工资收入较高且感恩于哈佛大学培养的人比那些没有工作且心存怨言的人填写调查问卷的可能性更大。没有把调查问卷反馈给你的那些人造成了无回应误差。有时，这些无回应误差会成系统地出现，从而造成统计数据的扭曲。
在做这项关于哈佛大学生毕业后两年工资的调查时，如果你的目的旨在说明哈佛大学的教育和培养能够创造高收入，那么这项调查也许会帮助你向大多数人说明这一点。但是，批判性的思考者会认识到，哈佛大学的学生与普通人不同，他们往往出身于收入更高的家庭，而这与学生将来的收入水平之间存在关系。哈佛的学生往往都属于事业型的人物。假如这些人上的是名气稍逊一筹的大学，甚或没有上大学，那么他们也可能在毕业后赚取同样的工资收入（马克·扎克伯格、马特·达蒙和比尔·盖茨都属于在哈佛大学辍学，但在事业上取得成功的典范式人物）。
如果你的统计调查无法针对社会中的某类人展开，比如驻扎在海外基地的军人，或者无家可归的人和待在收容机构的人，那么这种抽样偏差就叫涵盖误差。因为你无法接近社会人口中的某一部分人，所以这部分人没有机会被你的抽样选中。
如果你试图弄清楚一个瓶子中红色、橙色和蓝色软糖各自所占的比例，那么你就有可能无法彻底弄清楚这个瓶子里的情况。 [12] 器官活组织切片检查往往受到外科医生在器官上收集样本材料的位置方面的限制，所收集的样本并不一定具有代表性。在心理学研究中，实验的对象常常是大学在校生，而这些人也并不能代表普通大众。这个国家里各色人等千差万别，各自都有不同的态度、观念、政治倾向、人生经验和生活方式。说所有大学生都相似是错误的，说他们能够准确代表其他大众也同样不正确。
报告偏差
当被问及个人看法时，人们有时候会撒谎。一位哈佛毕业生可能会过高地报告他的收入，其目的要么是显示他比现在更加成功，要么是他自认为自己本应得到较高的收入，只是由于出现了情有可原的状况，他实际上并没有得到。当然，他还可能会少报收入。因为这样一来，哈佛大学校友会就不会再让他捐赠一大笔钱了。这些偏差相互之间有可能抵消掉，也有可能无法抵消。最终，在这项关于哈佛大学毕业生收入情况的调查中，我们收集到的一般性数字只不过是被调查对象所汇报的一般性数字而已，而并非他们的实际收入。那些富裕的毕业生有可能对自己的年收入情况不是很清楚，因为年度收入并非只是工资收入——它包括其他很多逐年变化的收入项，比如投资、股息、奖金和稿酬等。
你的调查也许会问到人们在以往的考试中或纳税方面是否有过欺诈行为。他们可能并不认为你的调查属于真正的机密调查，所以极有可能不想如实报告（在估计美国有多少非法移民需要医疗保健服务或这些人当中有多少是犯罪分子时，这也是一个问题。由于担心被举报，所以他们中的很多人害怕去医院或警察局报到）。
假设你想调查了解一下人们阅读的是什么样的杂志。 [13] 此时，你可以向他们做问卷调查。但是，他们有可能会想给你留下一个好印象，他们也有可能把自己的阅读品位汇报得比实际品位更高。你也许会发现，报告自己在阅读《纽约客》或《大西洋月刊》的人数要比销售数字所显示的人数多得多，而报告自己在阅读《美国周刊》和《国家询问报》的人数却比销售数字所显示的人数少得多。人们在调查中并不总是会如实作答。所以在此处，你的调查实际上所统计的并不是他们在阅读什么杂志，而是一种势利行为。
因此，你重新做了一个计划：你打算做实地调查，登门拜访，亲自观察人们在起居室里摆放的是什么杂志。但是，这种做法仍然存在偏差：它并不能告诉你人们实际上在阅读什么杂志，而只能说明他们在阅读完后保存了什么杂志，或者说他们选择了使用什么样的杂志来给客人留下印象。调查了解人们阅读什么杂志要比调查了解人们购买（或展示）什么杂志的难度更大。但是，这两种调查之间的区别非常重要。对于广告界人士来说，尤其如此。
什么因素会让一个人认为自己属于多种族人呢？如果他们在单一种族的社区里长大，那么他们就不会过多地倾向于认为自己是多种族的；如果他们曾经遭受过种族歧视，那么他们在这方面的倾向性就会更大。也许我们的调查对多种族的定义很准确，但这并不意味着人们一定会以我们想要的方式来汇报自己所属的种族类别。
缺乏标准化
统计计量必须做到标准化。统计数据的收集程序必须清晰、可复制以及精确，从而可以让每一位收集数据的人遵循统一的方法。每一位计数的人一定要以相同的方式计数。我们以格里森（Gleason）肿瘤评分为例——它只是一种相对标准化的方法，也就是说，不同的病理学家会给你评定出不同的分数，并据此标记出你的肿瘤所发展的程度（格里森评分体系指的是，在显微镜下检查前列腺组织样本，并且在2分至10分之间评定出一个分数，从而显示组织癌细胞扩散的可能性大小 [14] ）。对于某位患者是否患有精神分裂症，精神病学家们会持有各自不同的看法。对于什么才算是充分地构成了某种精神现象，统计学家们相互之间也会给出不同的观点。病理学、精神病学、超心理学和其他学科虽然都在积极创建定义明确的程序，使得人人皆可遵循，并获得同样的结果，但几乎全部的统计计量都会存在分歧，也都会有不同观点存在的空间。假如有人要你称自己的体重，那么你称体重时穿不穿衣服呢？口袋中放不放钱包呢？再假如，有人要你测量烤架上牛排的温度，那么你是在牛排的某一处测量，还是在多处测量然后取平均值呢？
计量误差
参与统计调查的人在理解某个问题时，也许并不会按照研究人员主观上所认为的那种方式。他们有可能会错误地填写调查问卷，也有可能以很多出人意料的方式在无意中给出错误的答案。每一项统计和每一个科学领域都会产生计量误差。欧洲核子研究组织（CERN）的物理学家曾经公开宣称，他们通过测量得知中微子的移动速度超过了光速。这项发现将成为近100年以来最重要的发现之一。随后，他们却声明说，他们的测量有误。 [15]
只要我们进行定量分析，就会出现计量误差。2000年的美国总统大选实质上属于一种统计计量误差（也可归因于没能够成功地记录人们的意图）：当不同的官方统计团队对相同的选票进行计数时，所得的统计结果却并不相同。其中的部分原因在于，他们在如何统计“酒窝”选票和“悬挂”选票 [16] 等方面存在分歧——这属于定义上的问题——但即使当时采用严格的计票规则，票数统计的结果也仍然会有差异。
大家都有过这样的经历：当我们数储钱罐里的钱币时，如果我们数两次，总钱数有时会不相同。此外，当我们站在体重秤上连续测量三次时，所得的体重数字有可能会不一致；当你测量家里某个房间的大小时，每次测量所得的面积也可能会略有不同。后面这两种情况都可以得到解释：你的体重秤弹簧不是完美的机械装置；当每次使用卷尺测量时，由于你手拿卷尺的方式存在差别，所以卷尺静止端的位置会出现微小的滑动，从而导致你的读数产生微弱的差异。又或者卷尺的长度不足以一次测量整个屋子的长度，所以你需要分两三次在地板上做出标记再进行测量，然后再把所得长度相加，这也会增加出错的可能性。计量工具本身存在差异（计量设备本身确实都有一定的准确度规格，设备的价格越高，其计量的准确性也越高）：你家里的体重秤可能在半磅范围之内才能准确计量；而邮局计量秤的准确度却在半盎司（一磅的1/32）范围之内。
1960年，《美国人口普查》的一项研究记录了62名年龄为15岁到19岁的妇女，她们的子女数均达到或超过12个。 [17] 此外，该研究还记录了很多14岁的寡妇。然而，常识告诉我们，年龄为15岁到19岁且养育孩子数超过12个的妇女不可能存在，同时年仅14岁的寡妇也非常罕见。因此，此处的统计肯定有误。一种可能的原因是某些人口普查员勾错了普查表格上的选项。他们这样做也许属于无心之过，也许是为了使自己免于去做费时耗力的采访而有意为之。另一种可能的原因在于，对普查感到不耐烦（或存心不良）的一组被普查人员编造了古怪的回答，而人口普查员当时却疏于发觉。
2014年，有人控诉新英格兰爱国者队在比赛用球上做了手脚，即给橄榄球放气以便使队员在比赛中更易于完成接球动作。该队在进行辩护时把计量误差作为辩护内容的一部分。 [18] 在新英格兰爱国者队和印第安纳小马队的比赛当天，当半场结束时，两队的比赛用球分别做了气压检测。新英格兰爱国者队的比赛用球首先进行了气压检测，随后印第安纳小马队的比赛用球也同样做了检测。由于印第安纳小马队的比赛用球此前存放在温暖的更衣室或办公室里的时间更长一些，所以该队的所有比赛用球预热的时间也更长。如此一来，这些橄榄球的气压也因而增加了。美国联邦的一个地方法院采纳了这种观点。在参考其他证据之后，该法院针对上述控诉做出了证据不足的裁决。
当你所使用的计量工具——秤、尺子、调查问卷或测试——实际上无法计量你想要计量的对象时，也会产生计量误差。例如，当你用直尺去测量一根头发的宽度时，或当你真正要研究的是关于激励的内容，却使用了一个有关沮丧方面内容的调查问卷（这两者可能相关但却并不相同）时，这种错误就会产生。统计记录选民在资金方面支持哪些候选人与了解他们如何投票二者并不等同，因为很多选民会在同一次大选中同时向多个候选人赠予政治献金。
很多测试或统计调查表面上展示的是某一种事物，然而实质上却并不尽然。相关的论述在这方面着墨颇多。智商（IQ）测试便是其中被错误解释最严重的一种测试。它用于评估人们的智商，好像智商只是单一的层级一般。然而，事实却并非如此——智商有多种表现形式，比如空间智商、艺术智商、算术智商等。人们已经得知，智商测试往往偏向于中产阶级白人。当我们分析智商测试结果时，通常想要知道的是一个人有多么适合一个特定的学校项目或工作。在这些情形下，智商测试的确能够预测行为。然而，其原因并非是由于一个人的智商测试得分高就说明他的智慧也必定更高，而是因为智商测试显示出此人在其他方面（经济的、社会的）一贯具有的优势。
当遇到基于调查的统计时，你一定要努力弄清楚该调查所提的问题是什么，这些问题在你看来是否合理、是否存在偏差。对于任何统计来说，我们都要努力弄清楚它们是如何计量研究对象的，以及数据收集者是否有能力做出这样的计量。
定义
事物的定义和分类往往会对统计的结果产生重大影响。此类问题既会出现在自然科学之中（比如统计癌细胞发展等级或者统计降雨情况），也会出现在社会科学当中（比如统计调查人们的观点和经验）。
圣路易斯地区今天有没有下雨？这要取决于你对下雨的定义。如果只有一滴雨水降落在圣路易斯地区8846平方英里（美国行政管理和预算局数据）的广袤土地上，我们是否会说这地方下了雨？在一天之中，需要有多少滴雨水降落在多大面积的土地上并持续多长时间，我们才把这一天称作下雨天？
美国劳工统计局根据两种不同的定义对通货膨胀采用了两种不同的计量方法。个人消费支出指数（PCE）和消费价格指数（CPI）这两种衡量通货膨胀的方法可以产生不同的统计数字。如果你要比较同一国家中两年之内或两个地区之间的通货膨胀，那么你当然需要确保每次比较时都使用相同的指数。如果你只是想要了解一下近期通货膨胀率上升或下降的情况，那么一些不道德的统计使用者就会根据他们对上述两种指数差异的理解，从中挑选出最具影响力的一个，而不是选择最适合的那个指数来欺骗你。
再如，无家可归指的是什么呢？是指睡在人行道上或者汽车里的人吗？这些人也可能有家，只不过无法回家或者选择不回家而已。那么，对于失去自己的公寓所有权因而临时睡在朋友家沙发上的女人，情况怎样呢？再或者，对于一个出售了自家房子，然后一边暂居旅馆几周，同时一边又在等待新房就绪的家庭，情况又怎样呢？那些幸福而又舒适地非法居住在废弃仓库里的人呢？当我们横跨不同的州和城市来统计比较无家可归的情况时，不同的行政辖区所使用的无家可归的定义有可能是不同的。即使各行政辖区都采用标准化的定义，你所遇见的对于无家可归的统计定义也有可能与你个人的定义不同。 [19] 在我们的大型城市里，解决“无家可归问题”的障碍之一，就在于我们对无家可归没有一个统一的定义，或者说我们对哪些人满足无家可归的标准没有进行统一的定义。
当我们遇到那些根据新研究所做的新闻报道时，我们一定要留意该研究对各要素的定义方法。这是因为我们需要针对它们是否会被人接受、是否具有合理性做出自己的判断。对于政治性很强的话题（诸如堕胎、婚姻、战争、气候变化、最低工资标准以及住房政策等）来说，做到这一点尤为关键。
诚然，没有哪种事物的政治性会强于政治本身。通过提出政治性问题的方式，人们就可以针对公共民意调查中的定义进行辩驳和扭曲，并为己所用。现在我们试想一下，假设你受雇于一位政治候选人，负责收集其竞争对手艾丽西亚·弗洛里克的相关信息。 [20] 除非弗洛里克能够设法在每项议题上都满足所有选民的口味，否则总会有选民对她有怨言。所以，你要这样做，提出这个问题：“即便你支持这位候选人，但对于她讲过的任何话，你到底有没有不赞同的地方？”现在，几乎每位选民多少都会有些牢骚话，所以你就可以回去向老板汇报说：“81%的选民不赞同弗洛里克的主张。”你所做的就是收集了一件事情的相关数据（甚至一个微小分歧），然后把它汇入一大堆类似的怨言，并且重新把它们命名为“不赞同”。这种做法听上去让人感觉很公平。
不能知晓或无法核实之事
早期的计算机科学家创造出了GIGO（无用输入/无用输出）这个著名的说法。当时，人们盲目热衷于相信计算机输出的任何内容，因为计算机输出的内容能给人带来一种准确和确定的错觉。如果一项统计是由一系列胡乱定义的计量单位、猜测、误解、过度简化、错误计量以及有缺陷的估计组成的，那么最终的统计结论也必定存在缺陷。
对于自己读到的很多内容，我们都应当心存疑虑。我们要问问自己：有人知道这一点，这可能吗？一家报纸针对未成年男、女同性恋自杀的比例进行了报道。 [21] 哪种死亡才算是自杀，哪些尸体属于男同性恋，以及哪些尸体又属于异性恋，要弄清楚这些问题非常困难。鉴于此，任何此类的统计必定没有什么实际意义。同理，一个偏远地方死于饥饿的人数，或者一场内战期间命丧于种族屠杀的人数，这些数字都应当值得我们怀疑。在伊拉克—阿富汗—美国冲突期间，由各观察人士所提供的差别极大的伤亡估计就已经证实这一点。
有一位杂志出版商吹嘘说，他们的杂志拥有数量高达200万的读者。他们是怎么知道这个数字的呢？他们并不知道。他们假定，每份售出的杂志得到其他读者的分享阅读（他们所谓的“传阅率”）具有一定的比例。他们还假定，销售给图书馆的每份杂志都有一定数量的人去阅读。他们对图书和电子图书都做出了上述同样的假设。然而，主观臆断和现实情况二者之间却有着天壤之别。很多人都购买了史蒂芬·霍金（Stephen Hawking）的《时间简史》一书。据说，这是近30年以来销量最大，且没有阅读完全书的读者数量最多的一本图书。也许很少有人会传阅这本书，因为只需把它摆放在自家起居室里便会给来客留下深刻印象。那么，一本杂志或一本图书会有多少读者呢？一个播客（podcast）到底有多少听众呢？我们皆无从知晓。我们只知道它们的销量或下载量，仅此而已（尽管近来电子图书的发展趋势很有可能改变这种长期以来的现实状况）。
下一次，当你再次读到新西兰人平均每周用牙线洁牙4.36次（此数字为我所杜撰，但它有可能像任何统计估计数字一样准确）这样的报道时，请自问：怎么会有人知道这种事情呢？他们依据的数据是什么？假如浴室里有隐藏的摄像头，那就是另一回事了；但这更有可能是由那些把统计结果汇报给受众的人造成的。他们只对自己能够记住（或者自认为真实）的事情进行汇报。然而，我们却总是会面临这种情况。
[1] 1磅≈0.45公斤。
[2] This is entirely hypothetical.
[3] This is from Huff, op. cit., p. 22.
[4] Ibid.
[5] Many years ago, Chicago columnist Mike Royko encouraged readers to lie to exit pollers on Election Day in the hope that inaccurate data and being made to look foolish would end the practice of TV commentators calling the result of an election before all the votes were counted. I have no data on how many people lied to the exit pollers because of Royko’ s column, but the fact that exit polls are still a thing suggests it wasn’ t enough.
[6] Taken from http://www.aapor.org/AAPORKentico/Education-Resources/For-Researchers/Poll-\Survey-FAQ/What-is-the-Margin-of-Sampling-Error.aspx.
[7] This is a good rule of thumb, but in some cases this quick method will be inaccurate. See Schenker, N. and Gentleman, J. F. (2001). On judging the significance of differences by examining the overlap between confidence intervals. The American Statistician, 55(3), 182–186.
[8] I’ m intentionally not making a distinction here between frequentist and Bayesian probability estimates, a distinction that comes up in Part Two.
