假如现有数据都不适合用来评估因果关系……
就职于珠宝店的你盯着面前的数据。公司在一本半年前创刊的杂志上投放广告，今天你收到了投放广告后的销售数据。领导让你根据这些数据分析下一季度是否应该继续在该杂志上投放广告。然而遗憾的是，该杂志创刊没多久，无法用断点回归法、双重差分法等准实验方法进行分析。
当然，运用随机对照试验或准实验进行分析，正确评估因果效应的可能性会更大。然而，在实际工作和生活中，绝大部分数据只是对经济活动结果的记录，并非以分析为目的而收集的（多数“大数据”都是这样）。遇到这种情况，随机对照试验或准实验大多没有用武之地。
要不知难而退，告诉领导“从这些数据中看不出广告的效果”？恐怕没有几个人敢这么做。有时候就算无法做出全面分析，也必须得出一些结论。
那么像这样，我们掌握一些数据，但又不适合用来评估因果关系时，应该怎么办呢？欢迎加入得到书社，微.信:whair004.罗辑思维，得到APP，樊登读书会，喜马拉雅系列海量书籍与您分享
这种时候就要用到“回归分析”。关于这种分析方法，市面上可以找到很多专业书籍，因此这里不再赘述，只简单地介绍一下其精髓部分。
回归分析分为两种：一元回归分析和多元回归分析。一元回归分析是评估两个变量之间的关系的方法。但如果存在混杂因素，这种方法无法排除混杂因素的影响。
相比之下，多元回归分析可以排除混杂因素的影响，并在此基础上评估原因与结果的关系。假如我们掌握所有混杂因素的数据（不过这种情况极为罕见），用多元回归分析也完全能够证明因果关系。
画一条表示数据的“回归线”
下面先用一元回归分析介绍回归分析的基本概念。假设有4个数据如图表8-1所示，每个数据都代表一种原因与结果的组合。你希望能确定这两个变量之间是否存在因果关系。
所谓回归分析，就是在这4个点之间画出一条“回归线”。如果能画出回归线，这条线的“倾斜程度”就代表了每增加一个单位的原因会给结果带来的变化。也就是说，回归线的倾斜程度便是原因对结果的“因果效应”。
下面讲解画回归线的具体方法。首先，在4个点之间大致画一条线。从这条线向各数据点（图表8-1中的方形）垂直画线，测量线到数据点的距离。我们用距离1表示第一个数据点和线之间的距离，用距离2表示第二个数据点和线之间的距离，那么可以得到从距离1到距离4这4个点到线的距离。使4个距离之和最小的线便是“回归线”。
图表8-1 “回归线”示意图
实际操作中无须手工画线，统计分析软件会帮助我们画出回归线。
用“多元回归分析”排除混杂因素的影响
如果想在一元回归分析中用回归线的倾斜程度代表因果效应，必须满足“不存在混杂因素”的前提条件。然而，现实中很少有情况符合这个条件。多元回归分析则可以排除混杂因素的影响。多元回归分析使混杂因素的值保持固定不变①，以便我们能够画出表示原因与结果的关系的“回归线”，并根据回归线的倾斜程度来评估因果效应。
下面我们以饮酒与肺癌的关系为例进行说明。假设我们现在怀疑饮酒与肺癌之间存在因果关系。因为众所周知，饮酒量越大，患肺癌的风险越高。这里我们需要注意一个问题：存在“吸烟”这个混杂因素。很多喝酒的人也抽烟，而吸烟也是导致肺癌的原因之一。（见图表8-2）
图表8-2 “饮酒”与“肺癌”之间存在混杂因素吗？
如果采用多元回归分析明确饮酒和肺癌之间是否存在因果关系，则需要在吸烟量相同的人之间比较饮酒量较多的人和饮酒量较少的人，看他们患肺癌的风险是否存在差异。这种做法便是“使吸烟量保持固定不变”，使用多元回归分析可以实现这一点。固定的吸烟量可以是1日0根（不吸烟的人），也可以是1日5根。这样就可以在排除了吸烟量这个混杂因素的影响的基础上评估饮酒与肺癌的关系了。②
多元回归分析的具体操作方法可以参阅专业书籍，使用一般的统计分析软件，任何人都能轻松进行多元回归分析。在会上被问及广告的效果时，如果只是单纯地比较目前和去年的数据，把广告与销售额之间的相关关系当作因果关系来看待的话，就有可能会被旁人指出混杂因素的存在，当众出洋相。
而如果能提前收集混杂因素的数据，在排除其影响的基础上再评估原因与结果的关系，无论是领导还是客户，都肯定会更加信任你给出的数字。
COLUMN 8 因果推理的发展史
经济学及统计学领域的因果推理
因果推理在经济学领域的历史其实并不长。20世纪40年代，挪威奥斯陆大学的经济学者特里夫·哈维默（Trygve Magnus Haavelmo）在论文中使用了与反事实概念相类似的表述，但这一表述从严格意义上来说还算不上对反事实的准确定义。
进入20世纪90年代后，出现了一些较大变化。当时哈佛大学经济学院的著名计量经济学家吉多·因本斯（Guido Imbens）、麻省理工学院的劳动经济学家安格瑞斯特开始和唐纳德·鲁宾（参考正文第14页）合作，将“鲁宾因果模型”引入经济学。③
哈佛大学和麻省理工学院都位于美国马萨诸塞州剑桥市，地缘上的接近或许也是促成他们合作的一个原因。鲁宾和因本斯合著的《统计学、社会科学及生物医学领域中的因果推理导论》（Causal Inference for Statistics and Biomedical Sciences: An Introduction）以他们多年来在哈佛大学经济学院的课堂讲义为基础撰写而成，2015年出版后旋即被誉为“因果推理”领域最经典的教科书。
因果推理在经济学领域的历史不长是有原因的。因为流行病学和生物统计学可以进行“临床试验”等实验，但是经济学等社会科学领域则很难组织实验。以人类为对象的实验除了资金和伦理方面的问题之外，大多还会伴随政治层面的难题。这些因素使得因果推理一直无法在经济学领域得到普及。
然而，进入21世纪以后，经济学领域出现了一些新动向。芝加哥大学的实验经济学家约翰·A.李斯特（John A. List）以及由发展经济学家们组成的麻省理工学院扶贫实验室（J-PAL）的学者们克服重重障碍，开始进行大规模社会实验。
扶贫实验室堪称“实施随机对照试验”的专业组织，所有研究均采用随机对照试验。他们以“把易受政治风向左右的政策变为有理有据的政策”为目标，成功提高了随机对照试验的地位，使其成为“政策评估的理想方式”。
在经济学中，根据因果推理来评估政策效果的研究领域叫作“政策评估”，近年来该领域正在快速形成体系。
流行病学领域的因果推理
除经济学和统计学之外，因果推理的思维方式在其他学科中也得到了发展。其中之一便是流行病学。如果说“医学”是以个体为对象，研究其患病原因和治疗方法，那么“流行病学”就是要研究集体的患病原因和预防方法。医生、护士等拥有医学背景知识的读者或许对流行病学领域的因果推理更为熟悉。
20世纪90年代中期，犹太裔的美国计算机科学家朱迪亚·珀尔（Judea Pearl）开发了运用有向无环图（DAG）来证明因果关系的方法。后来哈佛大学的詹姆斯·罗宾斯（James Robins）和米格尔·埃尔南（Miguel Hernán）、加州大学洛杉矶分校的桑德·格林兰（Sander Greenland）等人将有向无环图推广到医学及流行病学领域。最终，医学院和公共卫生研究院接纳了这种方法论并将其编入教材。
有向无环图的最大特点是用箭头示意图来体现因果关系。本书中多次出现的用箭头表达因果关系或相关关系的示意图也可算作有向无环图。
由于混杂因素（参考正文第7页）是“同时影响原因和结果的第三变量”，如果某一变量的箭头可以同时指向原因和结果，那么这个第三变量便可以视为混杂因素。（见图表8-3）如果确定存在混杂因素，就必须用匹配法或多元回归分析排除其影响，否则无法正确评估因果关系。
图表8-3 必须排除混杂因素的影响
与此相对，如果箭头的方向相反，是从原因指向第三变量的话，则可以判定该变量不是混杂因素（该变量位于因果关系通道的中间，故名“中间变量”。见图表8-4）。如果用多元回归分析等方法处理中间变量，则会低估原因原本具有的影响。
图表8-4 不能排除中间变量的影响
① “保持固定不变”也可以叫作“校正”“控制”。
② 有研究显示，饮酒量处于中等程度及以下时，饮酒与肺癌之间没有关系，但就大量饮酒的人来说，饮酒与肺癌之间可能存在因果关系。也有研究使用日本人的数据，在论文中指出在吸烟者中发现饮酒与肺癌之间存在因果关系，但从整体上来看，这一问题尚未得出结论。
③ 鲁宾因果模型认为，所有人都有两种“潜在结果”，一种是受到干预后的潜在结果，另一种是未受到干预时的潜在结果。但任何人都只能观测到其中一种结果。实际中受到干预的人无法观测未受到干预时的潜在结果。而实际未受干预的人也无法观测到受到干预时的潜在结果。也就是说，鲁宾认为因果推理的根本问题就在于任何人都只能观测到一种潜在结果。
补论1 了解分析的有效性和局限性
内部效度与外部效度
以上我们学习了因果推理的多种方法。在这个补论中，我们将介绍一下这些方法的“有效性”与“局限性”。先来解释两个用来评价分析结果有效性的概念：“内部效度”和“外部效度”。
所谓内部效度，是指两个变量之间的因果关系的确定程度，即对研究对象群体再次施加相同干预后，会出现相同结果的程度；而外部效度则指对研究对象之外的群体施加相同干预后，会出现相同结果的程度。
我们来思考下面这个虚构的事例。假设美国进行的一项随机对照试验证实了以下因果关系：降低血压可以使人们患心肌梗死的风险下降，死亡率也随之下降。随机对照试验的证据等级较高，因此可认为该试验的内部效度也比较高。不过如果这项随机对照试验的对象是美国人，那么对其结果是否适用于日本人，即对该试验的外部效度则需要慎重考量。
通常认为，日本人患脑梗死的概率大于心肌梗死，而美国人患心肌梗死的概率大于脑梗死。为此，血压降低是否能够使日本人患心肌梗死的概率下降，这个课题必须用日本人的数据进行论证。只有当我们针对日本人实施相同研究，并观测到降低血压会使人们患心肌梗死的概率下降的结果时，才能说该因果关系“具有外部效度”。
随机对照试验也有局限性
正如前面提到的，本书介绍的各种方法虽然都是学术上成立的方法，但并非完美无缺。我们只有了解每种方法的局限性，对所得结果的有效性进行充分的探讨，才能得出“两个变量之间是否存在因果关系”这一问题的准确答案。
本书虽然也介绍了多种利用自然实验或准实验根据观测数据判断因果关系的方法，不过就判断因果关系这一点而言，随机对照试验毫无疑问要优于利用观测数据进行的研究。不过，随机对照试验也有以下几点局限性。
首先，实施随机对照试验的成本很高。前文提到“兰德健康保险实验”投入了3亿美元的巨额费用，如此昂贵的社会实验不是任何人都承担得起的。
其次，存在“外部效度”的问题。很多随机对照试验在挑选研究对象时都设有严格的筛选条件，因此无法确定该研究结果是否也适用于其他群体。
第三，很多试验出于伦理方面的考虑无法实施。比如，研究者不能因为想研究吸烟与肺癌的因果关系，就强迫受试者吸烟。
第四，随机对照试验有时无法按计划“随机分组”，导致“随机化失败”。除了分组时会发生这种情况之外，在试验进行过程中，试验对象从对照组转移到干预组也会破坏随机性。
第五，与随机对照试验中得到的效果（efficacy）相比，实际在整个社会实践后产生的实效（effectiveness）可能会变小（该概念与前面介绍的外部效度比较接近，不过鉴于这种方式或许更容易理解，因此分开介绍）。例如，在评估药效的临床实验中，实验对象都是经过严格挑选的。老年人或同时患有多种疾病的人往往被排除在受试者范围之外。然而，如果临床试验证明药物有效，老年人和同时患有多种疾病的人也会使用这种药物，因此实际上的药效会有别于临床试验得出的效果。
综上所述，随机对照试验并非绝对正确，它也有自身的局限性。随机对照试验的证据等级之所以很高，只是因为这种方法可以确保满足第1章介绍的判断因果关系的三个要点：（1）不是纯属巧合；（2）不存在混杂因素；（3）不存在逆向因果关系。反过来说，只要能在充分探讨的基础上确保满足以上三点，利用观测数据的研究也能成为有力证据。
补论2 因果推理的五个步骤
本节将因果推理总结为五个步骤（图表5），借此对本书介绍的内容进行系统性的复习。我们继续用广告和销售额的事例来解说。
图表5 解读因果关系的五个步骤
1.“原因”是什么
2.“结果”是什么
3.确认三个要点（参考正文第4页）
4.制造反事实
5.调整到可比较的状态
步骤1 “原因”是什么
指原因与结果中的“原因”，相当于广告与销售额事例中的“广告”。不过，广告也包括很多内容，比如是指具体的广告费用、投放面积，还是只是指有无投放广告？必须对原因做出明确的定义。
步骤2 “结果”是什么
指原因与结果中的“结果”，相当于广告与销售额事例中的“销售额”。想统计的是销售收入还是税前利润？结果也需要一个明确的定义。
步骤3 确认三个要点
前文提到过，判断因果关系时需要质疑三个要点：（1）是不是纯属巧合；（2）是否存在混杂因素；（3）是否存在逆向因果关系。
在广告与销售额的事例中，需要仔细分析是否存在能够同时影响广告和销售额的混杂因素。
比如，很可能存在“经济形势较好”等混杂因素。经济形势好的话，投放广告的决策更容易通过，销售额也更容易上涨。如果存在“经济形势较好”的混杂因素，广告与销售额的关系则可能只是伪相关。
步骤4 制造反事实
为了判断广告与销售额之间是否存在因果关系，你的公司需要对投放广告后的销售额和假设未曾投放广告时的销售额进行比较。这里的“假设未曾投放广告”就是“反事实”。例如，如果经济形势好，便可以想象“即使当初没有投放广告，销售额也会增加”，所以广告对销售额的实际效果或许会比我们预想的要小一些。
可是，我们无法得知“假设未曾投放广告”这种反事实中的销售额（毕竟没有时光机），而要评估广告与销售额的因果关系，反事实又是必不可少的要素，因此需要用“最贴切的值”来替换反事实的结果。也就是需要探索其他的可能性，比如能否使用在同一时期未投放广告的竞争对手的销售额数据等。
步骤5 调整到可比较的状态
用最贴切的值替换反事实的结果的一种有效方法是，通过调整形成“可比较”的组。例如假设在同一时期未投放广告的竞争对手和你的公司是“可比较”的，那么就可以用竞争对手的销售额作为最贴切的值，来替换“假设你的公司未曾投放广告（反事实）时的销售额”。
后 记
2016年1月8日的《华尔街日报》刊登了一篇题为“美国监管机构提示，警惕大数据中潜在的偏差”的报道。其内容是美国联邦贸易委员会向运用大数据分析商业活动的企业发出警告，具有相关关系并不代表存在因果关系。
相信各位读者都能理解这个警告的含义。在美国联邦贸易委员会列举的事例中，企业采用与经济状况或还款记录几乎没有任何关系的变量，对信用风险进行回归分析，预测个人信用风险的高低，并据此决定是否开展业务。这种方法得出的结果很可能只是本书中介绍的“纯属巧合”导致的伪相关（参考正文第5页），然而人们却有可能因为这些结果被剥夺了应得的机会。美国联邦贸易委员会对此敲响了警钟。
在“大数据”成为流行词的当下，数据分析随处可见。然而，数据本身只不过是罗列在一起的数字。“如何解读”数据分析才是关键。误将只呈现出相关关系的数据分析当作因果关系，会导致人们进一步做出错误的判断。
从这个意义上讲，“因果推理”如今已经不再只是笔者等研究人员的“专利”，而是所有人为了弄清楚“是否存在因果关系”所必备的素养。
在国外，基于因果推理得出的研究成果正在切实地改变着人们的生活。墨西哥第54任总统埃内斯托·塞迪略曾经开展过一项名为“进步计划”（PROGRESA）的扶贫项目，同时通过大规模随机对照试验，对进步计划的效果进行了严格测定。
那么，这样做的目的是什么呢？在每六年一次的总统换届选举之后，扶贫政策的方针都会发生巨大转变。塞迪略总统此举正是为了改变现状，使扶贫政策建立在具有因果关系的证据基础之上，而不再受各时期总统或政党意识形态的左右。如果随机对照试验能够明确证实“进步计划具有减少贫困的效果”，那么今后即使换作其他总统或政党执政，进步计划仍然会得到纳税人的支持，继续开展下去（事实上塞迪略总统离任之后，“进步计划”至今仍在继续实施）。
美国也有一个致力于依据证据牵制政策的组织。埃斯特·迪弗洛（Esther Duflo）等新锐经济学家组成的麻省理工学院扶贫实验室是一家专门开展随机对照试验的研究机构，为倡导“将容易受政治风向左右的政策变为建立在证据基础上的政策”而设立。他们的一系列研究正在显著改变着曾经被无稽之谈和传统观念影响的教育、医疗领域的政策制定过程。
本书作者之一的津川亲身经历过这样的情况。在他参加2014年10月哈佛大学召开的奥巴马医改计划研讨会时，台下一名记者发言称：“奥巴马医改实施后保险费用不降反升，我的好几个熟人都为此深感为难。奥巴马医改计划反而把美国的医疗制度改得更糟了。”对此，参与设计奥巴马医改计划的麻省理工学院医疗经济学家乔纳森・格鲁伯（Jonathan Gruber）答道：“个人经历的集合既不是数据，也称不上证据。我们通过缜密的数据收集验证了奥巴马医改计划的效果。其结果显示，美国国民的平均保险费用由于奥巴马医改计划的实施而有所下降。也许有些人因为不得不支付更多保险费而蒙受了损失，但是不要被个别现象误导，请用数据来呈现整体的变化。”
医疗费用关系到生命，正因如此，相关话题的讨论容易以个人经历为依据，带上个人情绪。格鲁伯等人的言论提倡不能感情用事，并指出了以数据和证据为依据进行讨论的重要性。
再来看看日本。本书也多次提及在国会所在地永田町霞关针对各种政策展开的讨论，不过遗憾的是，目前政策方面的讨论还很难被视为以具有因果关系的证据为依据。不仅如此，每逢大选临近，政客们便只顾讨论能在短期内吸引选票的政策，他们常常违背之前的承诺，或者突然强行推行没有任何根据的政策，致使纳税人的利益蒙受严重损失。这样的事例不胜枚举。这正是不重视国民的未来、只顾眼前的选举所招致的结果。
每当目睹这种局面，我都会发出感慨：为什么不能摆脱选举、政局等暂时性政治作秀的影响，从长远的角度出发，来考虑如何实现国民的社会福利（幸福）最大化呢？为此，应该像扶贫实验室所宣称的，“把容易受到政治风向左右的政策变为建立在证据基础上的政策”。要实现这个目标，我们每一名国民作为纳税人也必须从“什么政策才具有因果效应”的角度出发，严格审视每项政策。
最后，请允许我向在本书出版过程中给予我莫大支持的人们表示衷心感谢。
实际上，本书从执笔构思至今已经过了两年的时间。学者著作的后记中，常会看到诸如“自开始写书到出版历经了四分之一个世纪”“献给如今已故的编辑○○先生”等表述，让人感慨光阴荏苒。本书也几乎踏上同样漫长而艰难的道路，好在在编辑的催促与鼓励之下，终于得以付梓。在此对负责本书的钻石社编辑上村晃大先生致以诚挚的谢意。
此外，统计学家兼因果推理专家、庆应义塾大学星野崇宏教授自本书草稿阶段便认真协助校对，并为我提出了很多宝贵建议。东京大学的朝井友纪子助教、一桥大学的神林龙教授、麦克马斯特大学的山口慎太郎副教授、西蒙弗雷泽大学的重冈仁副教授（以上人名按刊登章节顺序排列）欣然同意本书引用并介绍其研究。在此对各位表示感谢。
书中介绍的笔者们的研究属于日本经济产业研究所（RIETI）的“对医疗及教育质量的测量及其决定因素的分析”（研究负责人：学习院大学乾友彦教授）和“劳动市场制度改革”（研究负责人：庆应义塾大学鹤光太郎教授）项目中的部分内容。以矢野诚所长和森川正之副所长为首的经济产业研究所为我们提供了大力支持，在此表示感谢。另外，科研经费补助基础S“社会障碍的经济理论与实证研究”（研究负责人：东京大学松井彰彦教授）、基础B“关于幼年期所处社会生活环境和学习方法对人力资本积累的影响的分析”（研究负责人：信息安全大学院大学广松毅教授）、基础A“贫困与灾害的教育经济学：如何培养出能够战胜社会不利因素和困难的孩子”（研究负责人：中室牧子）也为本书的编写提供了支援。
感谢庆应义塾大学综合政策学院政策媒体研究科中室研究室的植村理、川崎美波、坂本彩乃、中川舞音、中田知宏、中村真优子、锅泽步、山越梨沙子、吉屋麻里为本书的草稿提出了宝贵建议。
“研究”是一份奇特的工作。无论撰写多少篇论文，在研讨会上做多少场演讲，我们也不会变得更加富有。不过，研究中诞生的观点可以作为公共知识财富，为建设更美好的世界做出贡献。感谢我们的家人对这份工作给予的理解和毫无保留的支持。特别是在本书草稿阶段多次过目并提出建议的代田丰一郎和津川衣林梨，在此向你们致以由衷的感谢。最后需要声明的是，本书虽然是在众多人士的支持下完成的，但书中任何错误均由笔者负责。
“在证据的基础上制定政策”的做法在国外已经扎根，但在教育和医疗领域，无稽之谈和传统观念的影响力依旧很强，想在证据的基础上制定政策绝非易事。为了实现这个目标，我们这些研究者也许要倾尽一生的时间，不断推广这些观点才行。
证据能够体现经济学所信奉的“因果关系”，只有通过体系化的“因果推理”才能形成证据。如果这些工具能够对生活在数据泛滥时代的各位读者有所帮助，我们身为作者也会感到欣慰。
2017年2月
中室牧子
津川友介
参考文献
