的确，这个月晕效应是如此强而有力，你可能发现你自己在抵抗这个想法，同一个人，同样的作为，公司情况好和情况不好看起来竟有这么大的差别。因为月晕效应，我们把因果关系倒过来了：我们倾向于相信这公司失败是因为它的执行长僵化，但是真相是因为公司在走下坡，所以执行长看起来僵化。这就是为什么错觉会产生。
月晕效应和结果偏见联合起来解释了系统化地检验成功企业的书会热卖，大家想要从中学到成功之道。这个类别中最好的例子是柯林斯 (Jim Collins) 和薄乐斯 (Jerry I. Porras) 的《基业常青》(Build to Last) 一书。在书中，他们很详细分析了十八组相互竞争的公司每一组都有一家公司比另一家更成功。他们把数据按公司文化、策略和管理方式评估排序比较。「我们认为全世界每一个执行长、经理，和创业家都应该读这本书。」作者如是说，「你可以建构一个有远见的公司」。
这本书和其它类似书籍的基本讯息是，好的经营管理可以被指认出来，而好的管理就会有好的结果。这两个讯息都被夸大了。对这些成功公司的比较，就某个程度来说，是在比较这些公司的运气。知道运气的重要性后，当你看到非常一致性的比较时，你应该特别小心、特别怀疑，在随机底下，规律性的型态只是海市蜃楼。
因为运气扮演了重要的角色，所以领导风格和经营管理就不能从观察成功的公司中，可靠地推论出来。即使你有完美的先前知识，知道那个执行长有卓越的眼光和超强的能力，你仍然不能预测这公司未来的境遇会如何，你的预测不见得比丢铜板高明多少。一般来说，《基业常青》这本书比较的公司中，营运很好的公司和营运不那么成功的公司，在公司利润和股票报酬之间的差距，在研究过后一段时间是缩小到几乎没有。而在著名的《追求卓越》(In Search of Excellence) 提到的各家公司的平均营收也一样在短期内急剧下降。《财星》(Fortune)「最令人推崇的公司」的研究发现，经过二十年，那些被评为最糟的公司结果变成赚到更多股票收益的公司，比那些最令人推崇的公司还好。
你可能会想用因果的解释去看这些公司：或许成功的公司变得自满了，不那么成功的公司更努力些。但是这是错误的思考方式。这个平均的差距一定会缩小，因为原始差距有一大部分是因为运气的关系，这个运气是跟顶尖公司的成功有关，也跟其余公司落后的表现有关。我们已经看到生活的统计事实了：向平均数回归。
任何一个兴盛衰亡的故事都会打动读者的心，因为它提供了一个人类心智所需要的东西：一个简单的成功或失败的信念，使我们可以很清楚看到原因，忽略运气的决定性力量及不可避免的回归效应。这些故事产生并且维持了错觉，一个关于了解、传授教训的错觉，其实这些教训没有什么持久的价值，只是读者很热切想要去相信它罢了。
说到后见之明
「这个错误看起来很明显，不过这是后见之明，你不可能事先知道的。」
「他从这个成功的故事中学到太多东西，有点太过理想了。他落入了叙述的谬论中。」
「她说这个公司经营得不好是一点证据也没有，她唯一知道的就是股票下跌了。这是一个结果的偏见，一部分来自后见之明，另一部分来自月晕效应。」
「要小心不要落入结果的偏见，这是一个很笨的决定，即使最后没事了，它还是一个笨决定。」
1.这一点在目前的医疗纠纷官司上是一个重点，司法官应该要仔细读这一段。
20 效度的错觉
系统一的设定是只要有一点证据就快速下结论──它不是设计来知道这个匆忙跳下决定的一跳有多远，因为WYSIATI，只有手边的证据才算数，又因为故事愈合理，自信心愈高，我们的主观自信反映出系统一和系统二编故事的合理性。证据的数量和质量其实起不了什么作用，因为很少证据也能编出很好的故事。很多很重要的信念我们其实是一点证据都没有，只有我们爱的人和相信的人有这个信念而已。如果你仔细想过我们对某个信念的证据有多么少，我们对自己信念的自信就太荒谬了──但是它也是必要的。
效度的错觉
几十年前，我在烈日下观察士兵们汗流浃背地解决问题，我那时已从心理系毕业，在以色列陆军服兵役，在当了一年的陆军军官后，被派到陆军的心理单位，其中一项任务就是评估军官训练中的学员适不适合当军官。我们用的方法是英国陆军在二次世界大战时，研发出来的那一套测验。
有一个测验叫做「没有领导的小组挑战」(Leader less group challenge)。八个彼此不认得的陌生人，除去所有代表阶级的肩章，仅以贴在身上的号码来相认，在野外的地上有根大木头，旁边有一面6呎高的墙，他们的任务是让所有人过到墙的另一边去，但是木头不可以碰到墙或地，人也不能碰到墙，如果违规，就从头再来过。
解决这个问题的方法有好几种，最普通的方式就是把木头斜个角度立着，像钓鱼杆那样，一些人扶着，一些人爬木杆越过墙，或是爬到别人肩上跳过墙。这里面的难题是最后那个人要怎么过去。一个方式是几个人扶着木杆使它不碰地，最后这个人跳上木杆后，翘起木头让他爬过去再跳下来，通常失败就在这一点上，这时，他们全部人又得重头再来一次。
当我的同事和我站在那里观察时，我们记录谁在指挥，谁在发号施令，谁想当头，但被别人嘘下来，他们彼此之间有多合作，谁很固执，谁又很听话，谁很有耐性，谁又很高傲，谁是火爆脾气，谁很坚持，谁又轻言放弃。我们有时也观察到有人的想法不被大家采用时，他就工作得不起劲。我们也看到大骂那个犯错使全体得重来一遍的人；或在大家都筋疲力倦但是又得重来一次时，挺身而出领导的人。我们认为在这种压力之下，每个人的真本性才会显露出来。我们对每一个军官候选人的印象是非常直接和鲜明的，就像天空的颜色一样。
在观察他们重来几次之后，我们必须为每一个士兵的领导能力和坚持到底的毅力分类，看谁可以进军官训练营。我们花时间讨论每一个士兵给我们的印象，这个任务不难，因为我们觉得我们看到每一个人真正的领导能力。有些人看起来像强壮的领导者，有些人看起来很懦弱，有些人像高傲的傻瓜，有些人的表现中等、不显著，但也不是没希望。有些人实在太弱，我们先把他剔除掉。当我们把各人的观察汇整成一份报告时，我们对自己所写的合理故事非常有自信，觉得我们对这个人的评估直指出他的未来。那些在团队失败后，接手过来，完成任务的人是领袖，他显然是在训练中表现会最好，在战场上最能领导士兵的人，任何其它的预测似乎都与我们眼睛所看到的证据不一致。
因为我们对每一个士兵的表现都有很鲜明、一致的印象，所以我们认为我们的预测应该是很准确的。当我们在给这些士兵评分时，通常是某个分数会立刻进入我们心中，表示我们对这个人的表现，心中很有定见了。我们很少有不同的看法或怀疑其它人判断得不对，表示这个分数是大家共同的印象。我们十分有把握说：「这个人不行」、「这个人中等，但是应该还可以」，或「他会是个明星，绝对行」。我们觉得没有必要质疑我们的预测，改变或修正我们的看法，假如被挑战，我们也准备好去承认，「当然，任何事都可能发生」，我们会这样说是因为虽然我们很相信自己对每一个士兵的看法，但是我们也很肯定地知道，我们的预测基本上是没效的。
我们的预测无效的证据其实是相当多，每隔几个月，我们就会有一个检讨的会议，训练的老师们会让我们知道某一个学员在训练营的表现，并把我们评估的分数和训练营长官的意见相比较，结果永远是一样的故事──即我们预测他们在训练营的表现并不管用，基本上可以忽略，我们的预测只比随机乱猜好一点，但也没好到哪里去。
我们在接获这令人沮丧的消息后，会消沉一阵子，但这是陆军，不管有没有用，这就是你每天的例行公事，你必须遵守命令。于是另一批士兵第二天又来报到，我们把他们带到野外的那堵墙前面，他们举起了木头，在几分钟之内，我们又看到他们的本性流露出来，有人暴跳如雷，有人沉着应变，就跟以前每一天看到的情况一样。这个黯淡的事实──为什么我们预测的质量完全没有效，却又对自己的预测这么有信心──是一件奇怪的事。照说，以前预测的失败应该已经动摇我们的自信，使我们对士兵的预测和判断不那么有把握才对，但事实并非如此。我们一样有自信。这个事实也应该使我们修改预测，但是我们没有，虽然我们得知自己的预测只比随机乱猜好一点，但是我们还是觉得我们的预测是有效的。我想起了慕勒－莱尔的错觉，我们明明知道这两条线是一样长，但是我们仍然觉得一条长、一条短。我看到这两件事的相似性，所以我给这个经验取了一个名字叫「效度的错觉」(illusion of validity)。
我发现了我的第一个认知错觉。
几十年以后，我现在可以在这个故事中，看到我思维的主题了──当然也是本书的主题。我们对这些士兵未来表现的期待其实就是一个替代，尤其是表征快捷方式。我们在人造的环境中观察士兵们一个小时的行为，我们就觉得自己很了解他在军官营中会面临的挑战，以及他将来在战场上的领导能力。我们的预期完全没有考虑到回归──我们对很弱的证据做出很强的预测，完全没有考虑应该把看到的失败和成功先做回归，这就是WYSIATI最好的例子。我们对所观察到的行为有很强的印象，忽略了那些最后决定这个士兵在军官营会表现得怎样的因素。
现在回头看，这个故事最惊人的就是我们对一般规则的知识──即我们不能预测──完全不会影响到我们对个案的信心。我现在可以看到，我们当时的反应就跟奈斯比和波吉达的学生一样。记得吗？他们告诉学生大部分人没有帮助陌生的癫痫患者。他们确实相信所看到的统计数字，但是基率并没有影响到他们判断影片中看到的那个人是否会去帮助发病的陌生人。就如奈斯比和波吉达所示，人们通常不愿从一般情形中归纳出特定的个案来。
判断上主观的自信，不是对这个判断正确性机率的理性评估。自信心是个感觉，它反映出讯息的合理性以及处理它时，认知的容易度。所以我们应该严肃地承认这个不确定性，宣称高度自信其实只是告诉你，这个人在心中建构了一个合理的故事而已，并不代表故事是真的。
选对股票的错觉
1984年，特维斯基和我以及另外一个朋友瑟勒 (Richard Thaler) 被美国华尔街一家公司的资深投资经理邀请，去谈偏见在投资上所扮演的角色。我对股票财务这方面懂得很少，我甚至不知该如何去问他问题，但是我记得一个对话：「当你要卖股票的时候，」我问道：「谁来买它？」他朝着窗户大致比了个手势，意思是他预期买者是像他这样的人。这就奇怪了，是什么因素使一个人要卖，而另一个人要买？卖的人凭什么认为他比买的人多知道一点？
从那以后，我对股票市场的问题就慢慢形成一个大的迷团：一个大企业看起来是建构在「技术的错觉」(illusion of skill) 上。每一天几亿股的股票在交换，很多人买，很多人卖。一天中有10亿股票换了手是稀松平常的事，大部分的买主和卖主拥有同样的信息：他们交换股票主要是因为他们有不同的意见。买者认为这价格低，以后会涨，而卖者觉得现在已经很高了，以后会跌。我不懂的地方是为什么买者和卖者会认为目前的价格是不对的。他们凭什么认为自己比市场更知道这价格应该是多少。对大部分的人而言，这个信念是个错觉。
就它的广义架构来说，股票市场如何运作的理论是圈内人都接受的，每一个投资业的人都读过马基尔 (Burton Malkiel) 的那本好书《漫步华尔街》(A Random Walk Down Wall Street)。马基尔的理论是股票价格是一个公司值多少的所有信息，以及对这家公司未来最好的预测。假如有人认为这公司的价值明天会高，他们今天就会多买一点。这个信念就会使股票上涨，假如所有资产在市场都被正确定价了，那么交换股票就没有人会赚或赔。完美的定价使得聪明 (cleverness) 没有发挥的空间，但它同时保护了傻瓜，使他们不被自己的愚蠢所愚弄。然而，我们现在知道，这个理论并不太对，许多个人投资者在交易上一直亏损，连投掷飞镖的黑猩猩都做得比人好。第一个做出这个令人惊讶的结论的是加州大学柏克莱校区的财金教授欧丁 (Terry Odean)，他曾是我的学生。
欧丁从研究一万个股票账户在七年之间的交易情形开始，分析一家证券公司每一个投资者所做的交易，总共有163000那么多笔。这个丰富的数据库使欧丁得以找出卖了这个股票又马上去买另一个股票的案例。从这里，投资者显现出他对这两家公司的未来有一定的看法：他预期他买的股票会涨，会比他卖掉的股票表现好。
为了要知道投资者这个信念是否是对的，欧丁比较了投资者卖掉然后去买的这两种股票在交易后一年的表现。结果是明确的糟。平均来说，投资者卖掉的股票比他买的股票表现好3.2%，这是在扣除手续费之后的数字，是个可观的差异。
很重要一点是这是平均数，有些人做得比较好，有些人做得比较差，然而对绝大多数的散户投资者而言，去洗澡、冲个凉，什么都不要做，也比去做出心中想的事要好很多。欧丁和他同事巴伯 (Brad Barber) 后来的研究支持了这个结论。在一篇叫做〈交易对你的财富有害〉(Trading is Hazardous to Your Wealth) 的论文中，他们显示，最活跃的交易者有着最惨的结局，而交易最少的投资者得到最高的报酬。在另外一篇〈男孩永远是男孩〉(Boys Will Be Boys) 的论文显示，男人比女人更会做一些无益的事，因此，女人比男人的投资报酬率好。
当然，每一次交易，都有一个人在交易的另一端。一般来说，这些是金融机构和专业投资者，他们等着散户在选择买这个股票和卖那个股票时犯错，好乘机得利。巴伯和欧丁后来的研究解开了这些错误的原因。散户喜欢在股票一涨时，就赶快卖掉，锁住获利，但是对亏本的股票却守着不卖，期待有一天翻本。很不幸的是，在短期之内，已涨的股票会继续涨，它的表现会比正在亏的好。所以这些散户就卖错了股票，也买错了股票。散户经常蜂拥买进上新闻的公司，专业投资人则对新闻的反应比较有选择性。这就是为什么财务专家称呼自己为「聪明的钱」(smartmoney)。
虽然专业者能从业余者身上赚取很多钱，但是很少人有能力持续击败股票市场，专业投资者（包括基金经理人）都在持续成就 (persistent achievement) 这个最基本的投资技术检验上铩羽而归。我们要看一个人有没有某个能力，是看他能不能持续成就某件事。这个逻辑很简单：假如今年的个别差异完全来自运气，那么投资者和基金的表现就不正常，而每年的相关是零。然而，如果有技术成分在里面，那么排序就会比较稳定。这持续的个别差异就让我们确定高尔夫球员、汽车销售员、牙齿矫正师或是高速公路上动作快速的收费员是有技术的。
基金 (mutual funds) 通常是由很有经验、很努力工作的专业人士在经营，他们为了客户的最大利益在买卖股票。然而，五十年来的研究证据却指出：绝大多数的基金经理人在选择股票时，很像是掷骰子而比较不像在打扑克牌。在任何一年，至少每三个基金中，有两个基金的表现是在市场的水平以下的。
更重要的是，每一年基金绩效之间的相关非常低，仅高于零一点点，某个基金在任何一年的成功都是来自运气。他们骰子掷得好，研究者大多同意，几乎所有的选股者都在赌机率，不管他们自己知不知道，他们其实都在赌运气，而我认为他们大多数不知道自己是如此，还以为自己判断得准。交易者主观的经验是他们是在很大的不确定性中，做出依据专业知识的猜测 (educated guess)。在非常有效率的市场中，依据专业知识的猜测并没有比随便乱猜 (blind guess) 好。
好几年前，我有一个不寻常的机会近距离地检视「理财技术的错觉」。我被邀请去对一个专门替有钱人提供投资建议的大型顾问公司的投资专员演讲。我请他们提供一些数据数据好准备我的演讲，结果他们给了我一个小宝库：二十五名投资顾问连续八年来所做的投资简报。每一个投资顾问在那一年投资绩效决定他那一年的年终奖金。你很容易依他们的投资绩效替他们排出高低序列，然后就可看出他们之间是否有持续性的技术差异，而同一个人是否持续性地每一年的绩效都比别人好，为客户赚到比较多的钱。
为了回答这个问题，我计算了第一年和第二年、第一年和第三年，一直到第七年和第八年之间排序的相关系数，我得到28个相关系数，每一组都有一个。因为我知道理论，所以准备好了去看持续技术的弱证据。我非常惊讶地发现这28个相关的平均是0.01。换句话说，几乎是0。我没有找到代表技术差异的相关，这个结果跟你在掷骰子比赛中所见到的一样，它不是一个技术的比赛，而是运气的比赛。
这个公司中没有一个人觉识到他们选择股票的本质是什么。这些投资顾问都觉得他们自己很能干、很敬业地做一个严肃的工作，他们的上司也都同意。在演讲前一晚，瑟勒和我与这家公司的高层共进晚餐。这些高阶主管就是决定下属要分多少红利的人，我们请他们猜一猜每个投资顾问每年排序的相关，他们微笑地说「不很高」或「表现常有起伏」，因为他们以为猜到我们要说什么。但是没有一个人猜到相关居然是零。
我们对这些执行长的忠告是，至少他们的运气很好，本来应该靠技术来支持的，他们靠运气把公司支持了这么久。这对他们来说本来应该是个大震惊才对，但是他们没有表露出不信任我们的表情，这怎么可能？毕竟我们分析的是他们自己的结果，他们也够专业来看懂相关系数的意思。我们很有礼貌地没有明说出来，很安静地吃我们的晚餐。无疑的，我们的发现和这个发现的意义会马上被扫到地毯底下，然后大家跟以前一样过日子。技术的错觉不只是个别的异样或畸型，它是深深根植于企业文化中，挑战这个基本假设的事实会威胁别人的自尊和生计，所以根本就被忽略，抛至一旁。那些人的心智并不去消化、吸收它。这在绩效的统计研究上特别是如此，这些统计数字提供了基率信息，但人们通常忽略它，尤其这些信息跟人们由经验而得来的个人印象相抵触的时候。
第二天早上，我们对这些投资顾问做了报告，他们的反应是同样的平淡。他们对自己在复杂问题上做仔细判断的经验，远大于统计数字带给他们的感觉。我们讲完后，昨夜与我们一起吃饭的一位执行长开车送我去机场。在路上，他有一丝辩护意味地告诉我，「我替这家公司做得很好，没有人可以把功劳从我身上拿掉。」我微笑而不语。但是我在想：「我今天早上已把它从你身上拿走了，假如你的成功大部分是因为运气 (chance)，你觉得自己有多大的功劳？」
是什么在支持技术和效度的错觉？
认知错觉常比视觉错觉更顽固，你对慕勒－莱尔的知识并没有改变你看到它的感觉，但是它改变了你的行为。你现在知道不能相信你对长度的印象，你也不能相信你所看到的东西，当被问到这两条线的长度时，你会报告你被告知的信念（它们一样长），而不是你看到的错觉（它们不一样长）。相反的，当我和同事在以色列陆军中学到我们对领导者的预测测验效度很低时，我们在学术上接受了这个事实，但是它对我们的感觉或后来的行动都没有影响，我们在投资公司所遇到的反应更是极端。我确信我和瑟勒带给他们的讯息是即刻被放到记忆最黑暗的角落去，缩在那里，这些讯息不会带给他们任何的伤害。
为什么这些投资者，不论是专业的还是业余的，这么顽固地认为自己会比市场做得好？这个信念其实跟他们接受的经济理论是相抵触的，也跟他们个人投资经验带给他们的教训相反。为什么他们如此执迷不悟？在解释这个普遍又顽强存在的错觉时，前面章节的主题都会再度用到。
这个错觉最强的心理原因是人们认为选股票时，他是运用了非常高明的技术。他们查了经济数据，看了大师对股票市场的预测，并仔细检视这家公司的财务报表，评估最高阶经理人的表现，他们也调查了其它竞争者，这些都是很严肃的工作，需要长久训练才能拥有的，所以这样做的人马上有感觉他在运用他的技术，而这技术是有效度的。很不幸的是，评估一个公司营运的技术并不足以保证股票交易的成功，因为在股票交易上的关键问题是这家公司的信息有没有表现在股票价格上。交易者显然没有技术去回答这个关键问题，但是他们忽略自己在这方面的无知。就像我在野外观察士兵解决6呎墙的问题一样，交易者主观的自信是一种感觉，不是判断。我们对认知放松的了解和合理性的联结将主观的自信紧紧地深植于系统一中。
最后，效度的错觉和技术的错觉受到了专业文化的强力支持，我们知道人们对任何议题会有不可动摇的信心，不管这议题有多无稽，只要有一群人跟他一样相信，他的信仰就会更加坚定。在投资理财和金融这个专业领域里，很多人都认为他们是少数的菁英，能够做别人不能做的判断。
权威人士的错觉
未来是不可预测的想法被过去是很容易解释的事实所减弱，就如塔里在《黑天鹅效应》一书所说的，人们倾向于对过去编出合理的故事，把它建构成信念，因此我们很难接受自己预测能力是有限的这个事实。从事后诸葛看来，每一件事会发生都有它的道理，每天晚上，财务权威为你分析今天股票市场为什么涨，为什么跌，他们讲得头头是道，我们无法压抑这强有力的直觉。今天这么有道理的事后解释就是昨天的预测，我们对过去的了解使我们以为有能力预测未来，这个过度的自信带来了错觉。
「历史的前进」(march of history) 的影像暗示着秩序和方向，「前进」(march) 这个字就表示它不是散步，不是一般走路，它不是随机的，它是行军，一致性的有规律、有方向的大步走。我们觉得可以依大型社会运动，文化和科技的发展，或少数几个伟人的意图和能力来解释过去。对很多人来说，巨大的历史事件是由机率决定是一个很大的震撼，虽然它是事实。我们很难想象20世纪的历史，包括大型的社会运动，没有希特勒、斯大林和毛泽东的角色在里面。但是在卵子受精前的一剎那，那个后来变成希特勒的胚胎可能是女性，将这三个人可能不是他们而是另外一个女性的机率加起来，20世纪有八分之一的机会没有这三个历史罪人，你不可能强辩说，没有这三个坏人，历史还是一样。这三个受精卵造成了巨大的后果，它使长期发展是可预测的想法变成了一个笑话。
然而这个有效预测的错觉仍然纹风不动，丝毫不受影响，这个事实被许多专业预测人拿出来讨论，不只是财经专家，还包括企业和政治的权威人士。电视、广播电台和报纸都有他们自己的专家顾问团，他们的工作就是评论刚发生的事件及预测未来。观众和读者以为这些人有特别管道可以看到我们看不到的讯息，或是他们特别有洞见。无疑的，这些权威人士和他们的支持者真正认为他们有提出伟大的意见和预测。宾州大学心理学教授泰特拉克 (Philip Tetlock) 在一个为期二十年的地标实验中解释了「专家预测」的现象。2005年，他出版了一本书，《专家的政治判断：它有多准？我们怎么知道？》(Expert Political Judgment:How Good Is It? How Can We Know?) 泰特拉克为这个领域未来的讨论设下了条件。
泰特拉克访问了284位以评论时事或经济趋势为生的人。他请他们评估某件事在不久的将来发生的机率，就全世界他们所专精的领域来发表意见，以及就他们比较不那么专业的领域来评估这些事发生的机率。例如，戈尔巴乔夫 (Gorbachev) 会在政变中下台吗？美国会出兵去波斯湾打仗吗？哪一个国家会变成下一个市场的主导者？泰特拉克搜集了8万个预测，他也问这些专家，他们是怎么得出结论的。当他们被证明预测错时，他们的反应是如何，他们如何看待那些不支持他看法的证据。每一个事件他都要求这些专家给出三种结果的可能性机率：持续现状的可能性，比现状好的可能性（例如政治自由和经济成长），或比现状差的可能性。
结果是惨不忍睹。若这些专家直接将这三个可能结果的机率均分，结果都会比他们的预测要来得好。换句话说，这些花时间研究某个题目，藉此维生的人，他们的预测能力比丢飞镖的猴子的表现还差，猴子至少还会把它们的选择平均分配给三个可能性。即使在自己的专业领域，这些专家也没有比非专家的表现好到那里去。
这些对预测知道比较多的专家，比知道比较少的稍微好一点。但是那些拥有最多知识的，常常比较不可靠。原因是拥有比较多知识的人发展出一个强大的技术错觉，变成不真实的过度自信，泰特拉克写道：「我们很快就看到，更多的知识已不能带来更好的预测，而且消失是异常地快。在这个学术超级专业分工的时代，我们没有理由支持那些顶尖期刊的投稿者──那些杰出的政治学家、某个领域的专家、经济学家等等，比新闻记者或《纽约时报》的细心读者高明多少。」泰特拉克发现愈有名的预测者，愈会做出眩目的预测。他写道：「愈受欢迎的专家愈自信，他们比聚光灯远处微微自我膨胀的同事的自信心超越太多。」
泰特拉克同时发现，这些专家死不认错，当他们被迫认错时，他们有一大堆借口：他们只有在时间上出错，因为一个不可预料的事件发生，干扰了他原来的计划；或是他可能是错了，但是却有对的原因。其实专家终究也是人，他们只是被自己的光芒蒙蔽而不愿承认错误。泰特拉克认为，专家会误入歧途不是被他们的信念所害，而是被他们怎么想所害。他用柏林 (Isaiah Berlin) 一篇论文中关于托尔斯泰的寓言故事《豪猪和狐狸》(Hedgehog and the Fox) 的术语来说明。豪猪「知道一件大事」，对这个世界有一个理论，他们只能解释一致性合理架构内的某一件事，对他们自己的预测非常自信，他们同样不情愿去承认错误。对豪猪来讲，错误的预测永远「只是时间上差一点」，或「几乎是对的」。他们的个人意见非常强，而且很清楚，所以电视的节目制作人最喜欢他们上节目，两个意见不同的豪猪互相攻击对手的理念会吸引很多观众，让收视率提高。
相反的，狐狸是复杂的思考者，他们不相信大事件会驱动「历史的前进」。例如，他们不太可能接受里根总统一手结束了冷战，只因他对苏联摆出强硬姿态。狐狸是从许多不同的人和事的互动（包括运气），看到浮现的真相，运气通常导致出乎意料之外的结果。在泰特拉克的研究中，狐狸最后的得分最高，虽然他们的表现还是很差。他们也比较不会像豪猪那样被邀请上电视去辩论。
不是专家的错──这世界太困难了
本章的重点不是指出那些尝试预测未来的专家犯了很多错，这是不用说的。第一个教训是预测错误是不可避免的，因为这个世界是不可预测的。第二是高度的主观自信不可信任，它不是正确率的指针（低自信的讯息量可能还高些）。
短期趋势可以被预测，从以前的行为和成就可以相当正确地预测出不久后的行为和成就，但是我们不能从士兵在野外障碍测试场上的行为去预期军官训练营和战场上的表现。在测试场和在真实世界的行为受到很多情境因素的影响。把八个士兵中最有自信、最自我肯定的人移开，剩下七个人的人格都会改变。让狙击手的子弹移开几公分，军官的表现就会转型。我并没有否定所有测验的效度──假如一个测验有20或30的效度能预测出重要的结果，这个测验就可以用。但是你不应该期望太高。你对华尔街选择股票投资的人没有预期或只有一点预期，这些人通常希望自己对股票未来价格的预测比市场预测准确一点，但是你不要抱太大希望。你也不要对权威人士抱太大希望，以为他们长期的预测会准确，虽然他们可能对不久的将来有正确的卓见，但是对长期预测是不行的。可能预测的未来与不可预测的遥远未来的界线，现在还无法分得清楚。
说到技术的错觉
「他知道记录显示，这种疾病的发展是最不可预测的，他怎么可能表现得这么有自信？听起来像效度的错觉。」
「她有一个完整的故事来解释她所知道的东西，而这故事的合理性使她自我感觉良好。」
「他凭什么认为他比市场聪明？这难道不是技术的错觉？」
「她是豪猪，她用理论来解释所有的事情，这使她产生错觉，以为她了解全世界。」
「问题不是这些专家是否接受过良好的训练，问题在这个世界是否可以预测。」
21 直觉 vs.公式
米尔 (Paul Meehl) 是一个奇特又奇妙的人，是20世纪最多才多艺的心理学家，他曾经做过明尼苏达大学 (University of Minnesota) 心理系、法律系、精神科、神经科，和哲学系的教授，他同时也写过宗教、政治学和生物医学的书。他的统计非常强，对临床心理学空洞论文的批评也不给情面，他同时还是个执业的心理分析师[1] (psychoanalyst)。他所写关于心理学研究的哲学基础的论文，我在当研究生时几乎全背下来，因为写得实在太好了，论点深厚，文字优美[2]。我从来没有机会遇见他，但是从我读他的〈临床vs.统计预测：一个理论的分析前证据的回顾〉(Clinical vs. Statistical Prediction:A Theoretical Analysis and Review of the Evidence) 起，他就是我的英雄。
在他那本薄薄的，被他称之为「令我不安的一本小书」中，他回顾了二十篇论文的结果，他比较基于专业医生的主观印象所得出的「临床预测」，和依据规则所综合起来的分数或等级而得出的「统计预测」，哪一个比较准确。在一个典型的研究中，训练过的辅导员，预测新生在学年结束后的表现，这个辅导员与学生面谈45分钟，他同时也取得学生的高中成绩、好几个性向测验的分数，及四页的自传。在这些信息中，统计只占很小的部分：高中的成绩和一个性向测验。然而，公式却比14名辅导员中的11名预测正确。米尔在很多其它预测项目中也发现同样的现象，包括违反假释、在飞行员训练中成功，以及再度犯罪。
不惊奇的是，米尔的书震惊了临床心理师，他们愤怒，不敢相信，这个争议性开启了一连串研究的河流，到这篇论文发表五十年后的今天都还在流。比较临床和统计预测的论文已经有二百篇了，但是算法和人类之间的竞赛分数还是没有变。大约有60%的研究显示，算法在正确率上显著优于临床师。其它方面的比较在正确率上是相同的，然而，不分轩轾就等于是统计规则赢了，因为它比用专家去判断便宜多了。
预测结果的范围现已扩张到医学的变项，例如癌症病人的寿命、住院要住多久、心脏病的诊断，以及婴儿突发性死亡征候群；经济上的测量（例如新公司成功的机率）、银行的信用风险评估、员工对未来工作的满意度、政府部门感兴趣的问题，包括评估适不适合成为寄养家庭、青少年犯罪的累犯性，及其它形式的暴力行为；还有科学报告的评估、足球比赛的赢家，法国葡萄酒的未来价格。每一个领域都有相当程度的不确定性和不可预测性。我们把它称之为「低效度环境」(low-validity environment)。在每一个个案中，专家的正确率和简单的算法一样，有时还不如算法。
就如三十年前米尔在他的书出版后所指出的：在社会科学里，当有这么多性质不同的实验都一致指向同一方向时，这是没有争辩的余地的。他的骄傲是有道理的，殊途同归是最强的证据。
普林斯顿经济学家和酒的行家艾沈费尔特 (Orley Ashenfelter) 提供了一个令人信服的展示，来说明简单的统计是胜过世界有名的专家。艾沈费尔特想要预测上等波尔多 (Bordeaux) 葡萄酒的未来价格，但他手边仅有酒的制造年份。这个问题很重要，因为酒要很多年才会成熟到最好的顶峰。同一葡萄园酿出来的酒会因装瓶时间不同而有巨大的价格差异，只差十二个月的装瓶时间，价格可以差到10倍以上。因此能预测酒的价格就变得非常重要，投资者买酒就像收藏艺术品一样，预期它的价格会涨。
品酒的人一般都同意，酒的质量只受到葡萄成长期间和气候的影响（这是假设酿酒技术不变），最好的酒是出自温暖又干燥的夏天所长出来的葡萄，所以地球暖化对波尔多制酒业是有利的。但是春天的潮湿也很重要，因为它会增加葡萄的量而不会影响葡萄的质量。艾沈费尔特把民间的制酒知识转换为公式，来预测酒的价钱。他针对某一个葡萄园、某一年份的酒，采用三个气候变项：夏天生长季节的平均温度、收成时的雨量，以及前一年冬天的总雨量。他的公式提供了正确的价格预测，不但可以预测未来好几年，甚至预测未来好几十年。的确，他的公式预测未来的价格比目前新酒价格更准确。这个「米尔型态」(Meehl pattern) 的新例子挑战了专家的能力，这些专家不是别人，正是塑造先前价格的那一批人。它同时也挑战了经济学的理论，因为理论说价格应该反映所有的信息，包括气候在内。艾沈费尔特的公式非常的准确──他的预测和实际价格之间的相关是.90以上[3]。
为什么专家会输给算法？米尔认为其中一个理由是专家想耍聪明，考虑范围超越了变量的范围，太复杂就失去了准头。复杂度在特殊个案中可能有效，但是常常得不偿失，失去了效度，把因素简单综合起来考虑有时效果更好。好几个研究显示，人类做决策时输给了公式，即使人类拿到公式算出来的数据，建议应该怎么做，人类的决策还是不及公式，人类还是觉得可以推翻公式，因为他们有更多信息。但是人类常常是错的，那些信息可能毫不相干。米尔认为只有在很少的情况，你应该用你的判断去替代公式的判断。在一个有名的思考实验中，他预测某一个人今晚会不会去看电影。他说，假如更多讯息进来显示这个人今天跌断了腿，那么这时可以不管公式怎么说。所以，就有这个「跌断了腿」(broken-leg rule) 的规则出来。重点是，跌断了腿的情况很少发生。
另一个专家不及公式的原因是人们从复杂的信息中，做出总结判断常常是不可救药的不一致。当我们请同一个人评估同一个讯息两次时，常常得出不一样的答案，这个不一致性有时会出人命。一个有经验的放射科医生在看同样的胸部X光片，判断「正常」和「不正常」的抵触率为20%。有一个研究请了101位独立查帐会计师去评估企业内部稽核的信度，也有同样20%的不一致性。检视41个不同研究对查帐会计师、病理学家、心理学家、企业经理和其它专家判断信度的评估，发现不一致性的程度很普遍，即使同一个案子在几分钟内再评估一遍，出来的答案也不一样。一个没有信度的判断是不可能成为任何东西的有效预测。
这个不一致的普遍性可能是来自系统一极端的仰赖内容。我们从促发效应的研究中知道，在环境中，没有被注意到的刺激对我们的思想和行为也会有很大的影响，这个影响是每一分钟都在变动的。在炎热的夏天，一阵凉风吹过会使你比较正向、乐观一点，这时，你对正在评估的东西分数就会高一点。在前面提过，犯人会不会被假释跟审查者上一次进食的时间有关系。因为你其实不知道大脑在做什么，所以你永远不知道在稍微一点点不同的环境中，你会做出不同的判断或决定。公式就没有这个问题。输入同样的信息，会有同样的答案出来。当预测度很低时──在米尔和后来的学者所做的文献回顾中，发现这情形很普遍──不一致的判断会破坏任何预测的效度。
这个研究有一个非常令人惊异的结论：为了要达到最大预测正确度，最后的决定应该留给公式去做，尤其在低效度情境下。医学院的入学许可评估，最后的决定权都在面试过学生的教授身上。这个证据现在还很片断、不完整，但是猜测的成份却是毋庸置疑的：面试会减少选择程序的正确性，假如面试者也是最后决定入学与否的人。因为面试者常对他们的直觉过度自信，会把太多的决定份量加在自己对那个学生的印象上，太少份量放在其它讯息上，所以变成低效度的情境。同样的，专家去评估一个还没有成熟的葡萄酒，预测它未来的价格，他手边的讯息几乎一定使这酒被评得更糟而不是更好：他们可以品尝这个酒。此外，当然，即使他们很了解气候对酒的效度，他们也不可能像公式一样，维持一致性。
自从米尔开创了这个领域之后，最重要的发展是道斯那篇著名的论文：〈决策制定中不恰当线性模式的强势美〉(The Robust Beauty of Improper Linear Models in Decision Making)。在社会科学中，统计的运用方式是将不同份量派给不同的预测者，它所依据的是「多重回归」(multiple regression) 的演算规则，现在已有软件包程序，学生只要一套即可运算[4]。多重回归的逻辑是无懈可击：它找到最好的公式把预测的变量施以不同的份量，组合在一起。然而道斯观察到，复杂的统计运算规则没有增加什么价值，甚至一点价值也没增加。如果你选择一组有预测效力的分数，调整它们的价值使它们可以比较（用标准分数或排序的方法），你也可以得到同样好的结果。把同样重要的预测变项组合在一起的公式，跟用多重回归去跑原始样本所得出的最佳预测力，在预测一个新个案时，效果一样好，一样正确。最近很多研究又更进了一步，那些派给所有预测变项同样权重的公式常常预测得更好，因为它们不受取样意外的影响。
这个同等权重方法惊人的成功在实务应用上很重要。现在可以在没有任何先前统计研究的情况下，发展出有效的算法。根据现行统计学或普通常识所订出来简单的同等权重公式，常常是显著结果非常好的预测指标。在一个广为人知的例子中，道斯显示婚姻的稳定性可以用一个公式来预测：
做爱次数减去吵架次数
