只要答案不是负数，婚姻就没问题。
从这研究得出的重要结论是：在信封背后所计算出的答案，常常跟最佳权重分派公式所得出的结果一样好，而且绝对比专家的判断更好[5]。这个逻辑可以应用到很多领域上，从选择股票到选择医疗方式。
这个方法的经典应用是一个曾经救过千百名婴儿的简单计算公式。妇产科医生都知道，婴儿如果在生下来几分钟内不能自行呼吸，他的大脑会受损或甚至死亡。直到1953年，麻醉医生艾卜嘉 (Virginia Apgar) 介入，医生和助产士通常都是以临床判断来决定这婴儿是否有麻烦。不同的医生注意到不同的线索，有人看呼吸问题，有人看婴儿多久才哭。当没有标准程序时，许多征象被忽略，许多新生儿就死了。
有一天，在吃早饭时，一位驻院医生问艾卜嘉如何制定出一套有系统的检验法来测试婴儿有无任何困难。艾卜嘉说，「那很简单，你可以这样做」，她随手写下五个变项（心跳率、呼吸、反射反应、肌肉张力和颜色），再加上三个分数（0、1、2代表变项的强度）。艾卜嘉了解到她可能替产房找到一个新的有用方式，她便在婴儿出生1分钟之后，依据这五个变项开始评估婴儿的表现。总分8分以上的婴儿，他的肤色较可能是粉红色、大声啼哭、充满活动力、脉博在100以上，情况良好的婴儿。假如分数在4分以下，这个婴儿可能肤色偏蓝、被动、脉博低、肌肉松驰没有弹性，需要立即的医疗救援。产房的医疗人员用艾卜嘉的分数，终于有了一致性的标准来决定哪一个宝宝有问题，这个公式被认为救了许多婴儿的性命。直到现在，艾卜嘉的测验仍然每天在每个产房被使用。葛文德 (Atul Gawande) 近期出版的《检查表：不犯错的秘密武器》(The Checklist Manifesto) 提供了许多这种清单和规则好处的例子。
对算法的敌意
从最开始，临床心理学家对米尔的看法就充满了敌意和不相信。显然他们深信自己有预测长期效果的能力，也就是说，陷在技术错觉中而不自知。现在回头想想，我们很容易看到这个错觉为什么会产生，也能了解为什么那些临床师会抵抗，不接受米尔的研究。
临床判断比统计预测差的证据，跟临床师自己每天的经验相抵触，他们觉得自己的判断很有质量。跟病人一起工作的心理学家在治疗过程中，常有很多直觉，他预期病人会对某治疗法有反应，也猜测下一步会发生什么事。许多直觉后来被证实是对的，显示了临床技术的真实性。
问题在于这些都是在临床面谈时短期的预测，治疗师在经过很多年的练习后发展出来的，他们失败的其实是对病人以后会怎样的长期预测。这是件很困难的工作，即使是最好的公式也只能做到中等程度，何况还有些是临床师从来没有机会练习或学习的。有些等很多年才会有回馈出现，不像在临床面谈时，马上有回馈。然而，他们能做得很好和不能做得很好的界线在哪里，并不清楚，当然他们自己更是不清楚（所谓当局着迷）。他们知道自己是有技术的，但是他们并不见得知道自己技术的限制在哪里。这些有经验的临床师觉得自己竟然被一个机械地组合几个变项赶过去，太不可思议了，所以他们完全不接受米尔的说法。
这个临床和统计预测的辩论还有道德成份在里面。米尔写道，统计的方式被有经验的临床师批评为「机械的、自动化的、人工的、不真实的、武断的、不完整的、死板的，片断的、迂腐的、微不足道的、强迫的、静态的、表面的、僵化的、伪科学的、学术性的，盲目的。」从另一方面来说，临床的方式是「动态的、整体性的、有意义的、全面性的、细腻的、同情的、有组织的、丰富的、深沉的、纯正的、敏感的、真实的、生活上的、具体的、自然的，了解的。」
这个态度我们都可以理解，当人与机器竞争，不论它是约翰．亨利的铁锤[6] (John Henry's hammer) 或是西洋棋天才卡斯珀罗夫 (Garry Kasparov) 跟计算机深蓝 (Deep Blue) 比赛，我们的同情心都在同胞这边。我们对用演算做决策再应用到人身上的厌恶与反感，是深深根植在我们对自然的强烈偏好上，我们不喜欢合成或人工的东西[7]。当问人们他们喜欢吃有机苹果还是商业化栽培出来的苹果时，大部分的人偏好「全天然」(all natural) 的苹果。即使告诉人们，两种苹果的味道一模一样，有同样的营养价值，也都很健康，大部分的人还是偏好天然的有机水果。甚至连啤酒的制造商都发现，他们只要把「全天然」、「没有添加防腐剂」放在商标上，啤酒就能卖得比较好。
照说，研究者解开了权威判断之谜，应该广受各行业的欢迎才对，但事实不然。从欧洲制酒业对艾沈费尔特公式的反应，可以看出人们是如何抵制这个预测波尔多酒价格的公式。艾沈费尔特的公式响应了人民的祈祷，你以为全世界爱酒人士都会因为艾沈费尔特增进他们辨认好酒、投资好酒的能力，而对他感恩不已，但是《纽约时报》报导法国酿酒业者的反应「从暴力到歇斯底里都有」。艾沈费尔特说，有位品酒专家把他的发现称之为「可笑、无稽」，另一位则骂他说，「就好像没有看过这部电影却去评论它。」
对演算的偏见在会带来很大后果的决策时，更加激烈。米尔说：「我不太知道该怎么缓和地说出有些临床师经验到的恐怖──当他们设想一个可以治疗的病例因为一个『没有眼睛的机械公式』把病人错误分类，而拒绝治疗。」相反的，米尔和其它赞同算法的人，强烈支持算法，他们说只依赖直觉来做重要决策的判断是不合伦理的，假如有一个算法可供使用就应该要用，因为它的错误会比较少。他们的理性论点很有说服力，但是它碰上顽强的心理学真实性：对大多数人来说，造成错误的原因是有关系的。「一个孩子快要死掉了，因为算法犯了错误」，这个故事比人为的错误还要刺激。情绪上强度的差异是马上可以转换到道德上去的。
幸运的是，对算法的敌意可能渐渐会软化，因为算法在我们生活上扮演的角色愈来愈多样化。当寻找我们可能会喜欢的书籍或音乐时，我们会感谢软件提供的推荐。我们对信用卡上限由计算机决定而不是由人来判断已经习以为常了。我们也愈来愈能接受简单演算给我们的指示，例如：好胆固醇和坏胆固醇的比例。现在一般老百姓已经接受在某些体育项目中，关键性的决策是计算机做得比人脑好：职业球队应该付多少钱给新进球员，或在足球赛第四次进攻时，是否要把球踢给对方 (punt)。计算机算法可以做的作业已经大大扩张，终有一天，它会减少人对机器做决定感受到的不舒服、不自在。五十年前，米尔那本小书出版时，人们所感受到的不自然，在计算机算法充斥着我们生活的现代，应该会减少了。
从米尔学到的东西
1955年时我21岁，是个在以色列陆军服役的少尉军官，我被指派去建立一个用来面试整个陆军士兵的面试系统。假如你觉得奇怪，这么大的责任怎么会赋予这么年轻的人，请记住，那时的以色列才建国七年，所有机构都还在建构中，需要有人去建构它。在今天看起来很奇怪，但是在当时，大学心理系的学士学位可能使我成为全陆军中受过最好训练、最有资格的心理学家。我的顶头上司是个非常聪明的研究者，他是化学学士。
在我接到这个任务时，已经有了面试的例行公式，每一个被征召到陆军的士兵要填写一份心理计量问卷 (psychometric test)，每一个要上战场的士兵都要经过人格测验的评估。目的是给新兵一个分数，看他适不适合上战场，也尽量找到适合他在军中的位置：看他应该是步兵、炮兵、装甲兵等等。面试官本身也是年轻的大头兵，因为他们智商高、喜欢跟人在一起而被选上。面试官大部分是女生，因为那时女生还不需要上战场。经过几个礼拜的训练后，她们便学会做15－20分钟的面谈了。我们鼓励她们问各种问题，包括的范围很广，请她们尽量对每一个新兵形成一个印象，看他们是最适合做步兵、炮兵还是什么兵。
很不幸的是，后续的追踪显示，这个面试程序几乎完全没有用，它无法预测一个新兵在军中的表现是否会成功。我被指示去设计一个比较有用的面试程序，但是不能比原来的花更多时间。他们要我试新的面试方法，而且要评估它的正确率。从专业角度看来，我做这件事并没有比叫我去盖一座横跨亚马孙河的桥更有资格。
很幸运的是，我读了米尔的书，这本小书在前一年出版了。我很被他的论点所说服，一些简单的统计规则绝对比直觉的临床判断更好。我下结论说，以前的面试失败，部分原因是他们允许面试官依她们最感兴趣的部分提问，这是去发掘被面试者的心智生活。我们应该利用有限的时间得出被面试者在正常环境中的某些特定讯息。另一个我从米尔书中学来的是我们不要让面试官做最后的决定。米尔的书认为，不可相信人去做最后的评估决定，因为人为评估没有一致性，要让各个小测验的统计结论来做最后的决定。
所以我决定让面试官去评估好几个相关的人格特质，给它分数，再依公式算出最后成绩，看这个新兵适不适合上战场。套入公式后，面试官就不能再有任何个人意见了。我拟了六个跟战场表现有关的人格特质，包括「责任感」、「合群性」、「男性的骄傲」。我再为每一个人格特质设计出一序列的事实描述性问题，这些问题跟他还没有被征召之前的个人生活有关，例如：当兵前做过几个工作，他在工作或念书时有多规律和守时，他跟朋友互动有多热络，他对什么运动有兴趣等等。我的想法是找出这个新兵在每一个向度上，表现得有多好。
我希望聚焦在标准化、跟事实有关的问题上，藉此避开月晕效应；也就是说，一开始的好印象会影响后来的判断。为了更进一步防止月晕效应，我告诉面试官，依序完成六个人格特质的问题，给每一个特质五点量表的分数，做完后才可以进行下一个。面试官不需要去管新兵未来在军中适应得如何，她们的工作就是找出这个人过去相关的事实，替每一个人格面向打分数。我告诉她们：「你的功能就是提供可靠的测量，把所有效度预测留给我来处理。」我的意思是说我会用公式把她们在每一项给的分数综合起来看。
这些面试官差一点就叛变 (mutiny) 了。这些聪明的年轻人很不高兴被一个没有比她们大多少的人下命令，把她们的直觉关掉，全面聚焦在发掘事实真相的无聊问题上。她们之中有人抱怨说：「你把我们变成机器人了。」所以后来我妥协。「按照指示执行你们的任务，当你完成后，闭上眼睛，想象这个人是个士兵，然后在1到5的量表上，给他一个分数。」
我们用这个方法面试了几百个人，几个月以后，我们从他们单位的长官手上搜集到他们在该单位表现的评估单。结果令我们很开心。就如米尔书中所说的，新的面试方式大大改进了旧的效度。我们六项分数的总和可以很正确地预测出士兵在军中的表现，比过去面试整体印象的方式好太多了，虽然还离完美很远，我们从「完全没有用」进步到了「稍稍有一点用」。
我很惊讶的是，面试官最后闭上眼睛所给的直觉判断分数也很有预测力，跟六项人格分数的总和预测力一样好。我从这里学到一个我永远不会忘记的教训：直觉是有价值的，但只有在有纪律地搜集客观讯息而且有纪律地给各个人格特质分数之后。我设计了一个公式，给「闭上你的眼睛」的评估同样的权重，使它和六项人格评分的总和一样重要。从这个事件我还学到，不要相信直觉的判断，不管是你的还是别人的，但是也不要把它丢开。
四十五年以后，在我得到诺贝尔奖时，我在以色列有一阵子是个名人。有一次我回去以色列，有人带我回到我以前当兵的军队营区，他们还是在那里面试新征召进来的新兵。他们把我介绍给心理单位的长官，并介绍她们目前如何面试。她们的方法从我当年设计到现在，没有什么改变。原来有许多研究发现这个面试方法很好用，所以一直保留到现在。在快要结束简报时她说，「于是，我们告诉她们，闭上妳的眼睛。」
自己动手做
本章讯息是立即可以应用到很多的作业上，并不是只有替陆军做人力的决定。用米尔和道斯的精神去设计面试需要一点的努力和很高的纪律。假设你需要为公司雇用一个销售员，假如你真的想雇用一个最适合这个工作的销售员，下面就是你该做的。第一步，选择几个人格特质，它是在这位置上，如果要成功必须要俱备的（例如，技术纯熟、和颜悦色、可以与人相处、值得信赖等等），不要太多──六个面向就足够了。你所选的人格特质尽量具有独立性，不要和别的人格特质牵扯在一起。你要能从几个简单的相关事实的问题中，得出可信赖的评估。下一步是替这些人格设计出一些问题，然后去想从一个1到5的量表上怎么给分。你要对什么叫叫非常弱，什么是非常强的项目有概念。
这些准备大约半个小时就足够了，对你来说，它是一个小投资，因为你可以从它找到你想雇用的人，它会使你在找到的人身上看到显著的质量差异。为了避免月晕效应，你必须每次只搜集一个人格特质，评分后再进入下一个人格特质。不要跳着做，把六个面向的分数加起来，这就是你对这个人的总成绩。因为你自己就是最后下决定的人，所以你不要「闭上你的眼睛」。假如这个人的分数是最高的，你就应该雇用他，即使有另外一个你比较喜欢的人，你要抵抗自己「跌断一条腿」的愿望去改变排序。有很多研究可以给你信心，你知道这样做是对的：你比较可能找到最好的人，因为研究告诉你，用这个方法找出来的人远优于其它的方式。所谓其它的方式就是毫无准备就去面试，然后凭着直觉的判断，「我看着他的眼睛，我喜欢我所看到东西」来做选择。
说到判断vs.公式
「当我们可以用公式来替代人为判断时，我们应该这样做。」
「他认为他的判断是很复杂和精致的，但是简单把分数加起来所得的结果可能比他好。」
「让我们先来决定一下我们要给这些候选人过去的表现多少的权重，不然我们会对面试的印象给予太多的权重。」
1.在台湾心理分析师和临床心理师 (clinical psychologist) 很多人搞不清楚，以为他们是一样的。其实在国外，临床心理学是心理系毕业，考了个证照就可以当，但心理分析却是精神科的一个支派，要医学院毕业。他是正规的医生，可以开药的，临床心理师不行）。
2.我在美国念博士时，米尔的论文是所有心理系研究生，不分领域必读的。
3.相关系数在0与1之间，.90非常高。
4.在我念书时，这是用手算，所以你知道多重回归的来龙去脉，对数据有信心。现在学生用软件包，对回归的概念都不清楚就在用了，有时快速得出结果的代价是不知道这结果是什么意思。
5.信封背后计算出来的答案指的是1965年诺贝尔奖得主Richard P. Feynman在厨房桌子上，信封背后所计算出来的公式，这个公式使他拿到诺贝尔奖。
6.美国的民间故事，一个高大有力气的黑人，替铁路公司开山洞，后来老板要用蒸气的铁锤来取代人工时，他挺身而出，与机器竞赛，虽然他赢了，却也力竭而死。
7.尤其经过塑化剂事件后，台湾现在更是崇尚自然，一听说是人工合成的食物，再美味都退避三舍。
22 专家的直觉：我们什么时候可以信任它？
专业的争论带出学术界最黑暗的一面，科学期刊偶尔会刊出一些意见的交换，通常是从一个人批评另一个人的研究开始，然后是这个人的答辩、反驳。双方交锋不绝，没完没了。我一直认为这是在浪费时间，尤其是第一个人的批评言词尖锐，那么回答、反驳就会很讽刺，言词变得愈来愈火爆。这些答辩很少承认对方的批评是有道理的，也从来不曾听过反驳的人承认最初的批评文章是被误导或是在某些地方犯了错。在少数几个情形，我有针对我认为被严重误导的批评者做响应，因为不回答会被人解释为隐藏错误，但是我从来没有发现有敌意的「交换意见」有任何建构性，或是可以从中学到什么。在寻找另外的方法来消除异见时，我采用「对抗合作」(adversarial collaboration) 的方式──两个在科学上意见相左的人共同写一篇论文，把他们的不同观点讲出来，有时共同做一个实验。在特别紧绷的情况下，这个研究需由第三者（所谓的仲裁人）来监督进行。
我最满意也最有收获的对抗合作是与克莱恩，他是临床师，也是一个协会的领导人，他不喜欢我做的研究。他们自称为「自然决策制定」(Naturalistic Decision Making, NDM)的学生，专门研究专家是怎么运作的，他们坚决反对聚焦在快捷方式偏见和偏见的处理方式上。他们批评这个模式是只注意到失败，这些是人工、不自然的实验，而不是研究真人真事，他们对于用严谨的算法去取代人的判断抱持很深的怀疑态度。米尔当然不是他们的英雄，克莱恩多年来一直保持他的立场。
这完全不是美好友谊的基础，但是故事还没有结束。我从来没有认为直觉就一定不对。因为他那篇消防队长的专家研究，我一直是克莱恩的粉丝，我是在1970年代读到他那篇文章，后来又读到他写的《权力的来源》。在书中，他分析有经验的专家如何发展出直觉的技术。我邀请他来一起做实验，找出区分好直觉和坏直觉的界线。他受到这个点子的吸引，于是我们就开始这个项目──我们完全不确定会不会成功。我们设计好一个特定问题：你什么时候可以相信一个宣称有直觉的专家？你可以很明显看到克莱恩比较倾向于信任，而我是比较怀疑的，我们可以在回答这个问题的原则上取得同意吗？
在这之后的七八年间，我们有很多的讨论，解决了很多异同点，好几次几乎翻脸，写了许多草稿，变成朋友，最后终于共同发表了一篇论文，题目叫做〈直觉专家的条件：未能达成不同意〉(Conditions for Intuitive Expertise:A Failure to Disagree)。这题目就说明了整个故事，的确，我们并没有碰到我们真正不同意的问题，只是我们也没有真正达成一致。
专家的魔术与缺陷
葛拉威尔 (Malcolm Gladwell) 那本畅销书《决断2秒间》(Blink) 出版时，正是我和克莱恩在做这个项目的时候，因为我们两人对这本书看法相同，令我们精神大振。葛拉威尔在这本书一开头就讲了一个令人难忘的故事，一些艺术鉴赏家对一个被形容为杰作的「行走中的男童」雕像进行鉴定，好几个专家都有强烈的内脏反应[1]，觉得这个雕像是假的，但又说不出假在那里，这使得他们很不舒服。每一个读过这本书的人──这本书卖了几百万册──都记得这个故事是直觉的胜利。专家们知道这个雕像是假的，但是说不出他们是怎么知道的，这正是直觉的定义。这个故事似乎是在说，他们系统化地找线索最后失败了。但是克莱恩和我都反对这个结论。从我们的观点，每一步的搜寻都是必须的，假如执行得很正确的话（克莱恩知道怎么做），它应该会成功。
虽然许多读者会被书中几乎魔术般的专家直觉所吸引，葛拉威尔本身却不相信直觉，在后面的章节里，他描述了直觉的大失败：美国总统哈丁 (Harding) 符合做总统的唯一条件，就是他看起来非常像个总统。他有方下巴，长得很高，像个强有力的领导者，美国人民投给最像强有力领导者的人，却没有去想一想他是否真的是强有力的领导者，这本书的读者都很自信的认为这个直觉就应该是对的。
直觉是辨识
克莱恩形成直觉看法的早期经验跟我的经验非常不同，我的思想是透过观察自己效度的错觉和阅读米尔的书所形成的，米尔在书中呈现了临床预测的缺失；相反的，克莱恩的看法是来自他早期对消防队队长的研究所形成的，他跟他们一起出勤去救火，然后跟小队长面谈，问他们在做决定时，心里在想什么。克莱恩在我们合写的论文中描述：
我在调查小队长如何能做出好决策而没有去比较其它可能性。我最开始的假设是小队长把他的分析限制在两个可能性之内，但是这个假设后来被证实是错的。事实上，小队长一般只有一个选择性，这对他们来说就够了，这正是他们要的。他们从脑海中搜寻过去十年来真实和虚拟情境中的行为经验，来指认出可能的选择，这是他们第一个想到的，然后他们在脑海中模拟这个方法在目前情境中是否行得通。假如可以，他们就会付诸行动，假如这个方法有缺点，他们会修改它，假如他们不能修改它，他们会去看下一个最有可能的选择，再重新走一遍流程，直到可行的方法出现为止。
克莱恩把这段描述变成一个决策制定理论，称之为「辨识促发的决定」(Recognition-Primed Decision) 模式，它可以应用到消防队员身上，也适用于西洋棋等其它领域的专家。这个历程动用到系统一和系统二。在第一阶段中，一个可能的计划来到心中，这是系统一联结记忆自动化的功能。下一步是一个刻意的历程，在心智中模拟，来看看它是否能运用在现在这个情境中──这是系统二的操作。直觉决策制定模式是型态辨识 (pattern recognition)，许多年前赛蒙所设计的，赛蒙可能是唯一被决策制度领域所认同并被奉为英雄的人，因为赛蒙是现在研究决策制定各个支派的始祖。我在本书前言引用了赛蒙对直觉的定义，但是我现在再重复一次，因为这次对你的意义应该更清楚了。「情境提供了一个线索，这线索给专家从记忆中提取讯息的入口，这个讯息提供了答案。直觉就是辨识，不多也不少。」
这个强烈的定义减少了直觉明显的魔力，把它贬为每一天记忆的经验。我们对于消防队队长能马上叫所有队员撤出燃烧的房子感到惊叹，因为房子马上要垮掉了，他有消防队员的危险直觉，但「不知道他是如何得知的」。然而，我们也不知道自己如何立刻知道进来房间的人就是我们的朋友彼得。赛蒙的重点在于「知道，但不怎么知道的」的神秘，并不是直觉独特的特质，它是我们心智生活的常态。
习得技术
直觉的讯息是如何储存在我们的记忆中的呢？某些直觉很快就学会，我们从祖先身上继承了学习什么时候应该害怕的能力。的确，一次经验就足以建立长期的厌恶和恐惧。很多人都有对某一道菜的肠胃记忆，使我们很不愿再回到那家餐馆去。当我们接近不愉快事件的发生点时，肌肉都会紧张起来。对我来说，要到旧金山机场的匝道就是这种地方。多年前，一个愤怒的驾驶人在高速公路上跟着我下匝道，摇下他的车窗，对我骂了一堆脏话，我到现在还不知道他为什么这么愤怒，但是只要我一接近那个地方，我就想起他的声音。
这个机场事件的记忆是有意识的，它完全解释了我在这个事件中的情绪，然而，有很多时候，你觉得在某个地方特别感到不自在，或有人讲了什么话使你不舒服，而你无法有意识地解释你为什么觉得不自在、不舒服。假如它后面跟着不好的经验，你会把这些不自在贴上直觉的标签[2]。这种情绪的学习跟巴夫洛夫 (Ivan Pavlov) 的制约实验非常相似，在制约的实验中，一只狗学会去辨认铃声，当铃声响，就表示有东西可吃，巴夫洛夫的狗学到的可以说是希望，习得的恐惧是更快就学会。
恐惧也是可以学会的──事实上，非常容易──不需亲身经历，透过语言文字即能学到。对危险有第六感的消防队员一定有很多场合可以讨论或思考他不在场的那些救火经验，在他心中重复学习线索应该是什么，他应该怎么反应。我记得有一个年轻的排长，在带领士兵经过一个很窄的山沟时，全身都紧张起来，因为他学过这种地形就是最容易发生突袭的地形，恐惧学习根本不必重复。
情绪的学习可能很快，但是专家通常需要很长时间的培养才会出现，要在一个复杂的作业中变成专家（例如西洋棋、职业篮球员，或消防队员）是很慢的，因为这些领域需要的不只是单一技术，而是很多小技术的综合体。西洋棋是最好的例子，大师只要看一眼就立刻了解棋下到什么地步，但是这需要很多年的苦功。针对西洋棋大师的研究显示，至少要1万个小时的练习才能拥有这种功力（即是一天下5个小时的棋，连下六年）。在这些练习的时间中，他们需要完全的注意力、熟悉所有棋路、背下无数的棋谱，才有可能脱颖而出成为名人。
学习棋道可以和学习阅读相比。一年级的小朋友，很辛苦地辨认字母，才能把它们组合成音节和字，但是一个好的成年读者，只需看一眼整个句子就够了。有经验的读者可以把熟悉的元素组合起来，马上正确念出一个她从来没有看过的字。在西洋棋中，重复出现的棋路就像字母一样，而棋谱就像一个很长的字或句子。
有经验的读者第一次看到就能读出卡洛 (Lewis Carroll) 的〈无聊诗〉(Jabberwocky) 中无意义的字[3]，她不但读得出来，还会押韵，有语调，还读得很高兴：
Twas brillig,and the slithy toves
Did gyre and gimble in the wabe:
All mimsy were the borogoves,
And the mome raths outgrabe.
变成西洋棋大师比学习阅读更难，更花时间，因为棋盘上的「字」包含了许多字母。在几千个小时的练习后，西洋棋大师能够一眼看出棋局，进入他们心中的几个棋路几乎都很强而且有时很有创意，他们可以处理从来没有看过的「字」，也可以找出新的方式来解释旧的、熟悉的「字」。
技术的环境
克莱恩和我很快就发现我们两人都同意直觉技术的本质，以及这技术怎么学来的。我们需要在关键问题上取得共识：你什么时候可以信任自信满满的专业人士的直觉？
我们最后的结论是，我们意见不同的部分原因是在我们心中的专家是不同的。克莱恩花很多时间在救火现场跟消防队队长，在医院中跟临床的护士和其它有真正专业的专业人士访谈。我花了很多时间在思考临床师、股票经纪人及政治家想要做出长期预测却都没有成功。所以不令人意外，他的事先设定 (default) 的态度是信任和尊敬，而我的态度是怀疑。他比较愿意相信那些宣称自己有直觉的专家，因为他告诉我，真正的专家知道他们知识的上限。我认为有很多假的专家他们根本不知道自己不知道什么，也不知道自己在做什么（这正是效度的错觉），所以主观的自信太高而且常常是没有根据的。
早先，我曾追踪人们的自信来自两个相关的印象：认知放松和一致性。当我们跟自己说的故事很容易进入我们心中而且没有相抵触时，我们很有自信。但是轻松和一致性并不保证有自信的信念是真的。联结机制本来是设定好去压抑怀疑，激发跟目前故事一致、兼容的讯息。跟随着WYSIATI的心智可以很轻松达成很高的自信，因为它忽略了它所不知道的东西。所以，许多人倾向于对没有根据的直觉有很高的自信。克莱恩和我最后同意一个重要的原则：人们对他直觉的自信不是一个可靠的效度指引，换句话说，不要相信任何告诉你应该多么信任他的判断的人，包括你自己。
假如你不能相信主观的判断，我们如何评估主观判断的效度？判断什么时候可以反映真正的专业？什么时候会出现效度错觉？答案来自两个习得技术的基本条件：
?一个很规则，可以被预测的环境。
?一个从长久的练习中，习得这些规律的机会。
当这两个条件都能被满足时，这个直觉就是一个技术直觉了。西洋棋是规律环境非常好的例子。桥牌和扑克牌也提供了统计上足以支持技术的规律。医生、护士、运动员和消防队员也是面对复杂、但基本上有秩序的情境。克莱恩所描述的正确直觉是来自于高效度专业系统一已经学会用的线索，即使系统二还没有学会去命名都没有关系。相反的，股票经纪人或政治学家的长期预测是在一个零效度的环境中，他们的失败反映出他们尝试要预测一个基本上不可预测的事件。
有些环境比不规律还更差，何嘉斯 (Robin Hogarth) 描述了一个「邪恶」的环境，在那种环境里，专业人士其实会从经验中学到错误的教训，他借用汤玛士 (Lewis Thomas) 20世纪初一个医生的例子，这个医生常常直觉病人快要得伤寒。很不幸的是，医生在检查病人的舌头时，没有洗手，他也不习惯在看下一个病人前洗手，因此，被他检查过的病人果然得了伤寒，这就更增加了他的信心，他的直觉是对的。其实他的直觉是错的，他自己才是病菌的传播者，被他碰过的病人都被他传染了。
米尔的临床师并不是无能，他们的失败也不是能力不好，表现不好是因为他们被指派的工作没有简单的解决方式。临床师的困境比政治长期预测零效度的环境好一点，但是他们是在一个低效度的情境，那是不可能出现高正确率的。我们现在知道是这样了，因为最好的统计算法，虽然比人的判断准确，也不是非常准确。的确，米尔的研究从来不能有「现行犯」(smoking gun) 的情形──临床师完全没看到非常有效度的线索，而算法侦察到了。像这种极端的例子是没有的，因为人类的学习一般来说是有效率的。假如有很强、可预测的线索存在，观察者还是会找到，只要你给他公平的机会去做。统计的算法在吵杂的环境下，会比人类的表现好很多，这有两个原因：算法比人类容易发现弱的线索，也更容易一致性地运用这些弱线索维持低度的正确率。
在一个不可预测的世界去责怪别人未能正确的预测未来是不对的。然而，责怪专业人士（因为他们相信自己能成功做到一件不可能的事）却觉得很公平。在一个不可预测的环境宣称自己有正确的直觉，充其量来说，也是自我妄想 (self-delusional)，有的时候更糟。在缺乏有效线索的情况下，直觉的「命中」，有可能是由于运气，另一个可能就是说谎。假如你认为这个结论很令你惊讶，你对直觉的魔力还存有藕断丝连的信念，请记得这个规则：在没有稳定规律的环境中，千万不可相信直觉。
回馈和练习
有些环境的规律很容易发现，也容易应用。请想一想，你如何发展出踩剎车的习惯，当你学会转弯时，你慢慢学会何时该放开踩油门的脚，什么时候应该踩剎车。弯路没有相同的，你在学习时，经历各种弯道使你准备好在对的时机踩下剎车。你后来学会开所有的弯道，何时踩剎车、何时放油门都难不倒你。学习这个技术的情境是很理智的，因为你立刻接受到回馈，每当你经过一个转弯，你就接受到一个明确的回馈讯息：现在你过弯转得很顺，你坐起来很舒服，或是你剎车踩得太重，使身体往前倾。港口引水员在指挥调度一艘大船时的状况也同样规律，但技术可就困难多了，需要要靠经验，因为你无法马上得到回馈，动作和可看见的结果之间有很长的延宕。专业人士有没有机会发展出专业直觉，主要取决定于回馈的质量和速度，以及有没有足够的机会练习。
专业技术并不是一个技术，而是很多技术的综合。同一个专业人士，她可能在某个作业上做得非常好，在别的作业上是生手。当西洋棋手变成专家时，他们已经「看过所有东西」（或几乎所有东西），但是就这方面来说，西洋棋是个例外，外科医生可能专精于某些手术，不擅长另一些手术。此外，任何专业工作都有一些层面比别的层面容易学。心理治疗师有很多机会观察病人对他们讲的话做出的立即反应，使他们能发展出找到恰当的字和声调的直觉技术，得以安抚愤怒、产生自信，或使病人的注意力聚焦到别处。从另一方面来说，治疗师没有机会指认哪一个治疗法对不同的病人最有效。他们从病人身上得到的长期结果很稀少，都是递延的或根本不存在（如病人不再回来看这个医生）。很多时候，这回馈太模棱两可，以致不能提供任何从经验得来的学习。
在所有专科医师中，麻醉师最能得到好回馈的帮助，因为他们动作的效果便是立即的证据。相反的，放射科医生对他们的诊断得到最少的正确率讯息，所以麻醉科医生在发展有用的技术上，拥有较有利的位置。假如麻醉师说，「我有个感觉，我觉得不对劲了。」开刀房里的每一个人就应该准备应付紧急状况了。
在这里，就像在主观的自信一样，专家们可能不知道他们专业的上限。有经验的心理治疗师知道她在找出病人心中想什么很有技术，对病人接下来要说什么也很有好的直觉，所以她很自然地觉得自己可以预期病人下一年的情况。但是这个结论就不见得对，短期预测和长期预测是两回事，治疗师有适当的机会去学习一个情境，但是没有学到另一个情境。同样的，财务专家在他的本行中，可能有很多层面的技术，但是在选择股票上就没有；中东问题的专家可能知道很多事情，但是不知道中东的未来如何。临床心理师、股票经纪人、权威人士在一些作业上的确有直觉的技术，但是他们还没有学会辨识直觉在哪种情境和作业下会背叛他们。这个没有被辨认出的专业技术上限，解释了为什么专家通常都过度自信。
评估效度
在克莱恩和我合作的后期，我们对最初的问题有了一致性的回答：你什么时候可以信任专家的直觉？我们的结论是，大部分时候，你可以区辨出有效度的直觉和吹牛的直觉。就像判断一个艺术品是真的还是仿制品，你会发现，聚焦在它的出处比注意艺术品本身有利。假如环境的规律性足够，判断者也有机会学习它的规律性，联结机制会辨识情境，会很快得出正确的预测和决定。假如符合这些条件，你可以相信这个专家的直觉。
很不幸的是，联结机制也得出错误但令人信服的主观直觉。看过有才气的年轻棋手下棋的人就知道，他的技术不会马上炉火纯青，在到达炉火纯青的阶段前，会非常有自信地犯下一些错误。在评估专家直觉时，你应该要考虑这个专家是否有足够的机会去学习线索，即使在规律的环境下，也要先确定这个条件。
在比较不规律、低效度的环境中，判断快捷方式会被激发起来，系统一通常能很快用替代的方式创造原本没有的一致性。制造出困难问题的答案，创造出完整的故事来。它回答的问题不是你原先要问的，但是答案很快就出现，非常似是而非的通过懒惰、宽容的系统二的检查。你可能想预测一个公司未来的经营情形，而且相信这就是你的判断，事实上，你的评估是受到这公司目前经营团队的热情和能力的印象所主控，因为这个替代是自动发生的，你常常不知道你（系统二）的判断来源，就采用了它。假如这是唯一进入你心中的判断，在主观上，可能与你用专家自信得出的有效判断无法区辨。这是为什么主观的自信不是正确率的好诊断，回答错误问题的判断也可能是在很自信的情况下得出来的。
你可能会问，为什么克莱恩和我没有马上想到用环境规律性和专家过去学习经验来评估专家直觉？这是专家自信最重要的两个来源，我们认为答案可能是什么？这些都是好问题，因为答案的轮廓从一开始就明显了。我们知道火灾现场的消防队小队长和小儿科护士一开始就和米尔研究中的专家，如股票经纪人和政治权威人士，处于边界的两边。
现在很难说得清楚为什么当时我们花那么多的时间去讨论、交换论文草稿，及往来几百封电子邮件讨论，而且好几次想放弃。但是一个项目要圆满结束，这些过程是免不了的：一旦你了解了主要的结论，这些结论看起来显而易见。
就像我们论文的标题所显示的，克莱恩和我的意见相左处低于预期，对所提出的议题几乎都达到共识。然而，我们也发现我们早期的差异其实不只是学术上的意见不同。我们有不同的态度、情绪，和偏好，而多年来，这方面的改变非常少。当「偏见」这个字出现时，克莱恩还是会皱眉头，他还是很喜欢告诉别人算法或公式如何得出可笑的决定。我还是把算法偶尔的错误看成改进公式的机会。从另一方面来说，那些宣称有直觉能力的骄傲专家在零效度情境的报应上，我比克莱恩得到更大的快乐。然而，就长远来说，如我们所做的，找到学术上的共同点绝对是比坚持我们情绪上的不同重要得多。
说到专家的直觉
「在这项作业上她有多少专业知识？她有多少练习机会？」
「他真的相信初创公司的环境足够规律化，使他有信心认为他的直觉可以挑战基率吗？」
「她对自己的决定非常有信心，但是主观的自信是判断正确率很差的指标。」
「他真的有机会去学习吗？在他的判断上，他所收到的回馈有多快，多清楚？」
1.英文叫gut feeling，肠胃是第二个大脑，它代表直觉的反应。
2.所以我们常听到人们说：「我就知道……没好事，我本来就不想来。」
3.卡洛就是写《爱丽思梦游仙境》的人，他在另一本《镜中奇缘》(Through the Looking Glass) 中创造了很多无意义的字。
23 外在看法
在我和特维斯基开始合作后几年，我说服了以色列教育部的一些官员，在高中的课程里加入判断和决策制定的课。我找了好几个有经验的老师、我心理系的学生，和福克斯（Seymour Fox 那时是希伯莱大学教育学院的院长，他是课程发展专家），一同来设计这个课程和编写教科书。
在每个礼拜五下午开会，开了一年以后，我们拟出详细的课程大纲，写了两章的教科书，在教室中做了一些样本的仿真，我们都对进度感到很满意。有一天，在讨论估算不确定性的数量的流程时，我突然想到去做一个练习。我请每一个人写下他估计还要多久才会完成这个计划，才能把教科书交到教育部去。我用的方式不是公开讨论而是私下搜集每一个人的判断，这是想要从团体中得到讯息的正确方法。这个方式比一般常用的公开讨论更能搜集到有用的知识。我搜集到这些估算值，把它写在黑板上，几乎都集中在两年：最低的是一年半，最高的是两年半。
然后我转向福克斯，我们课程专家，问他能不能想出另外一个跟我们相似、也是从无到有设计出课程的团队。那时正是好几个创新课程，如「新数学」被介绍入学校的时候。福克斯说他可以想到好几个。然后我追问，他熟不熟悉这些团队过去的历史，他说他对好几个很熟悉。我请他去回想，当这些团队进行到我们现在这个地步时，他们又花了多久才做完教科书的项目。
他安静了好一阵子，当他最后开口时，我觉得他似乎为自己的答案很不好意思，好像很窘：「你知道，我以前从来没有想过，但是事实上，不是所有到了我们这个阶段的团队，都能完成他们的作业，有很大一部分的团队最后是没有做完的。」
