附录3

对抗噪声,修正预测

匹配性预测是我们依赖直觉式匹配过程而产生的错误(参见第14章)。当我们基于现有信息做预测时,我们会进行匹配性预测,就好像我们能够依据这些信息对结果做出完美的或准确率非常高的预测一样。

让我们来回顾一下朱莉的例子,她4岁就能流利地阅读,那么她在大学时的GPA会是多少呢?如果你预测朱莉在大学时的GPA是3.8,这就意味着你从直觉上判断朱莉4岁时的阅读水平处于其年龄组的前10%(但不在前3%~5%)。然后,你心中有一个隐含的假定,即朱莉上大学时的GPA也应处于她所在班级的第90百分位数左右,那么与此相对应的GPA就是3.7或3.8——这是很常见的答案。

然而,这种推理在统计学上是不正确的,因为它严重夸大了关于朱莉的已知信息的判断价值。一个早慧的4岁孩子不一定永远都是“学霸”,当然了,小时候有阅读障碍的孩子也不一定一直在班里学习成绩垫底。

广告:个人专属 VPN,独立 IP,无限流量,多机房切换,还可以屏蔽广告和恶意软件,每月最低仅 5 美元

在大多数情况下,很多人的出色表现不可能一直延续下去;反之,糟糕的表现也往往会得到改善。尽管我们很容易就能想到一些社会学、心理学甚至政治学的原因来对这种现象做出解释,但这根本没必要,这纯粹是一个统计学现象。因为过去的表现与未来的表现并非完全相关,在一个方向或另一个方向上出现的极端观测值往往会在后续的观察中变得不那么极端,这种趋势被称为均值回归。因此,就匹配性预测而言,我们使用的术语是非回归性,因为它没有考虑到均值回归这一现象。

从定量的角度来看,如果能流利阅读的年龄是未来GPA的完美预测指标,换句话说,如果这两个因素之间的相关系数为1,那么你对朱莉的判断就是正确的。然而,显而易见的是,现实情况并非如此。

有一种统计方法可以帮助人们做出更准确的判断,但即使对于受过一些统计学训练的人来说,这种方法也不是很直观,并且很难觉察。接下来,我们以朱莉的情况为例来介绍这种方法的实施流程(见图33-1)。

阅读 ‧ 电子书库

图33-1 以均值回归调整直觉性预测的图示

1.用直觉去猜测

你关于朱莉的直觉或关于任何你有所了解的事件的直觉都并非毫无价值。你的快速的系统1思维可以轻松地将你所拥有的信息置于相应的预测量尺上,并为朱莉的GPA猜测一个数值。如果你拥有的信息具有完美的预测性,你就应该按照你的猜测来进行预测。猜完后请写下你的结论。

2.寻找均值

现在,请你后退一步,暂时忘记关于朱莉的一切信息。如果你对朱莉一无所知,你会如何预测她的GPA呢?答案很简单:在没有任何信息的情况下,你对朱莉的GPA的最佳估计应该是大学生群体的平均GPA——3.2左右。

以这种方式来看待朱莉问题遵循了我们在前文提到过的一种更广泛的原则,即外部视角。当我们采用外部视角时,我们将所考察的案例视为一类案例中的一则个案,然后从统计学角度去考察这一类案例。例如,请你回想一下,在迈克尔·甘巴迪问题中,外部视角是如何帮助我们思考新任CEO能否留任的基础概率的(参见第4章)。

3.评估已有信息的诊断价值

这是很困难的一步,你需要问自己:“我目前拥有的信息的预测价值有多大?”这个问题很重要,而原因再清楚不过了。如果你只知道朱莉的鞋码,那么你会恰当地将此信息的权重设为0,并坚持平均GPA的预测;而如果你有朱莉各科成绩的列表,据此信息将能完美地预测她的GPA。这两个极端之间有许多灰色地带。如果你有朱莉高中时期优异的学业成绩的数据,那么这些信息将比她的阅读年龄更具诊断意义,但比起她的大学成绩,其诊断意义又会小得多。

你的任务是量化已知数据的诊断价值,你可以将这个诊断价值表示为已有数据与你所预测的结果之间的相关性。除极个别情况外,这一相关性肯定只是粗略估计。

想要合理地估计这一相关性,请你回忆我们在第12章中列举的一些例子。在社会科学领域,超过0.5的相关系数非常罕见。在多数情况下,相关系数达到0.2就已经十分难得了,而在朱莉的例子中,0.2可能就是相关系数的上限了。

4.基于外部视角来调整你基于直觉的猜测,从而尽最大可能体现已有信息的诊断价值

最后一步是将已有的三个数字进行简单的算术整合,即对平均值进行调整,让它向基于猜测的值的方向偏移,偏移的程度取决于你所估计的相关系数的大小。

这一步只是我们对刚刚所做观测的进一步扩展:如果相关系数为0,那么你应该坚持平均值的估计;而如果相关系数是1,那么你应该忽略平均值并愉快地做出匹配性预测。因此,在朱莉的例子中,对其GPA的最佳预测应该是:由群体平均值向依据阅读年龄做出的直觉估计值的方向偏移,偏移的距离不超过平均值与直觉估计值距离的20%。据此,我们可以算出最佳预测值大约是3.3。

虽然这里我们只是举了朱莉的例子,但这种方法也可应用于本书讨论过的许多判断问题。例如,有一位销售副总裁需要招聘一名销售人员,他刚刚面试了一位十分优秀的候选人。根据对候选人的深刻印象,这位高管估计该候选人入职第一年的销售额能达到100万美元——相当于新入职员工第一年平均销售额的两倍。如何让副总裁的估计有回归性呢?需要注意的是,计算要取决于面试的诊断价值。在这个案例中,招聘面试能够在多大程度上预测出应聘者入职后的绩效呢?依据我们见过的研究证据,0.4的预测相关系数是一个相当高的估计值。因此,对新员工第一年销售额的回归性估计至多是:50万美元+(100万美元-50万美元)×0.4=70万美元。

这一过程并不是很直观。如上例所示,值得注意的是,校正后的预测总是比直觉性预测更保守,它们永远不会像直觉性预测那样极端,而是会更接近于平均值,通常情况下会非常接近平均值。如果你校正了你的预测,对于那些已经赢了10次大满贯的网球冠军,你就不会赌他们还能再赢得10次大满贯。同样,你也不会预测一家价值10亿美元的成功的创业公司将会发展成价值数千亿美元的行业巨头。总之,校正预测不会在极端值上下注。

从事后看,这意味着校正预测将不可避免地造成明显的失误,然而,预测并不是事后进行的。你应该记住,极端值是极其罕见的,与之相反的错误反而更为常见:我们往往以为自己预测的极端值在未来依然会是极端值,但由于存在均值回归,情况往往会发生变化。这就是当目标是最大限度地提高预测准确性(即均方误差最小化)时,校正预测会优于直觉匹配性预测的原因所在。