附录1

如何进行噪声审查

附录1是一份关于如何进行噪声审查的实用指南。你可以以企业顾问的视角来阅读这部分内容，设想一下这家企业雇用你来对它的一个部门员工的专业决策进行噪声审查。

顾名思义，噪声审查的重点当然在于考察噪声的普遍性，然而，良好的噪声审查其实也能提供关于员工培训和工作监管中存在的偏差、盲点和缺陷的有价值信息。成功的审查有利于促进部门改革，包括改进专业人员的判断准则、他们接受的培训、支持他们判断的工具以及对工作的日常监管等。如果这项审查被认为是成功的，那么它就有可能被应用于组织中的其他部门。

噪声审查需要进行大量的工作，且要求高度关注细节，因为如果审查结果暴露出重大缺陷，审查的可信度肯定会遭到质疑。因此，对案件和程序的每一个细节都要深思熟虑，要经得起“充满敌意”的审查。我们所描述的这一过程，招募了很多可能对噪声审查提出严格批评的人来进行，以减少反对的声音。

广告：个人专属 VPN，独立 IP，无限流量，多机房切换，还可以屏蔽广告和恶意软件，每月最低仅 5 美元

顾问可以是企业外部人员，也可以是企业内部人员，除此之外，还包括以下相关主体：

·　项目团队。项目团队对研究的所有阶段负责，如果项目顾问来自企业内部，他们将构成项目团队的核心；如果顾问来自企业外部，那么企业内部的项目团队需要与他们密切配合，这样才能确保公司内部人员将噪声审查视为自己的项目，并将顾问视为他们的支持者。除了对数据收集过程进行管理、分析结果和编写最终报告的顾问之外，项目团队还应包括相关领域的专家，并需要由他们来构建判断者要评估的案例。同时，项目团队的所有成员都应该有很好的职业信誉。

·　客户。噪声审查只有在引发重大改变时才有用，这就需要项目的“客户”——企业的领导一开始就要介入进来。可以预见的是，客户最初会对噪声的普遍性持怀疑态度。如果秉承开放的态度、怀有对审查结果的好奇，并且承诺当顾问的悲观预期被证实时愿意力挽狂澜，那么这种最初的怀疑实际上是一种优势。

·　判断者。客户可以指定一个或多个部门进行审查。选定的部门应包括大量的“判断者”，即为公司做出类似判断和决策的专业人士，而且判断者应该是可以有效替换的。例如，如果一个人不能处理一起案件，公司可以指派另一个人去处理，并认为他能够做出类似的判断。本书中介绍的这类例子包括美国联邦法官的量刑决策、保险公司对保费和理赔准备金的设定。对于噪声审查，最好选择类似这样的判断任务：可以以书面的形式完成，且可以以数字的形式，如货币、概率或评分来表示。

·　项目经理。应指定一位行政部门的高级经理担任项目经理，这项任务不需要相关人员具有特定的专业知识。在组织中，高级职位对于克服行政方面的障碍具有实际意义，同时也表明了公司对该项目的重视。项目经理的职责是对项目实施的各阶段提供行政支持，包括编写最终报告以及将结论传达给公司领导层。

构想案例材料

项目团队中的领域专家应具有公认的专业知识，例如，设定风险保费或评估投资潜力的能力，他们将负责研发审查中使用的案例。有效模拟专业人士的判断是一项非常精细的任务，当审查暴露出严重问题并有可能受到详细审查时更是如此。因此，团队必须考虑以下问题：如果我们的模拟结果表明公司的决策存在很高水平的噪声，公司的相关人员会接受“实际判断中同样存在这样的噪声”的事实吗？只有在得到肯定答复的情况下，噪声审查才值得进行。

获得肯定答复的方法不止一种。本书第1章中介绍了对法官量刑的噪声审查，通过使用相关属性的简单列表来概括每个案例，并在90分钟内获得了对16个案例的评估。第2章介绍了保险公司的噪声审查，对复杂案例做了详细而真实的概括。这两种情况下的高水平噪声为噪声的存在提供了确凿的证据，因为，如果在简化的案例中都存在这么大的分歧，那么真实案例中的噪声只会更严重。

为了更好地理解每位判断者对案例做出判断的逻辑，我们可以为每个案例准备一份调查问卷，并要求判断者在对所有案例的判断都完成后才可以开始做问卷。问卷应包括：

·　一些开放性问题，以此考察导致参与者做出相应判断的核心因素。

·　一份与案例有关的事实列表，参与者可以在列表中对它们的重要性进行评估。

·　一些有利于促进“外部视角”的问题。例如，如果案例需要进行估价，那么参与者应该给出该案例与同类别案例的估价的对比，即结果是高于平均值还是低于平均值。

与高管们召开启动会

将用于审查的案例所需材料都准备好之后，应当安排一次会议，让项目团队向公司领导层汇报审查内容。会议讨论的内容应当涉及研究的可能结果，当然，该可能结果中也应包括发现了令人难以接受的系统噪声。会议的目的是听取对即将实施的研究计划的反对意见，并获取领导层愿意接受任何结果的承诺，如果没有这样的承诺，进行下一步是毫无意义的。如果有人提出了强烈的反对意见，那么项目团队可能就需要完善案例材料并再次尝试。

当高管们接受噪声审查的设计时，项目团队应当让他们陈述对研究结果的期望。他们应讨论与下面这些问题类似的问题：

·　对于每一个案例而言，如果随机选择一组答案，你们预期的分歧程度有多大？

·　从商业的角度来看，可接受的最大程度的分歧是多少？

·　如果出现一定程度的错误高估或低估（比如15%），预计损失有多大？

应该详细记录上述问题的答案，以确保当审查的实际结果出来时大家仍记得且相信这些答案。

研究的管理

从一开始就应该告知被审查部门的经理，他们的部门被选择来做一项特殊的研究。有一点很重要，在描述项目时不能使用“噪声审查”这个词，尤其是在形容人的时候，应避免使用“噪声”和“充满噪声”这样的词，应使用“决策研究”这样的中性词。

部门经理要立即着手收集资料，并在项目经理和项目团队成员的参与下，向相关人员介绍任务，而且应当用概括性表述来介绍任务的目的，比如“企业对决策者如何得出结论感兴趣”。

其中很重要的一点是，需要向参与研究的专业人士确认，包括项目团队在内的企业中的任何人，都不会知道他们个人的答案。如果有必要，可以聘请外部公司匿名处理数据。另外，强调审查不会对该部门产生任何特殊影响也很重要，让他们了解他们只是被选为部门代表，代表企业完成判断任务。为了确保结果的可靠性，部门内所有有资格参与的专业人士都应参与到研究中。此外，还可以专门为这个任务安排半个工作日的时间，这样有助于使参与者认识到任务的重要性。

需要注意的是，所有参与者都要同时完成这个任务，但是在任务进行的过程中，他们应该身处彼此独立的空间，并且不能相互交流。项目团队可以在研究过程中回答问题。

分析和结论

项目团队将负责对每一位参与者评估的多个案例进行数据分析，包括对整体噪声的数量、噪声的成分、水平噪声和模式噪声的数量等进行分析。如果案例材料允许，进行数据分析时还可以识别出反应中的统计偏差。项目团队还有另一个重要的任务，即通过分析被试在问卷中的反馈来确定判断中变异的来源。在这些问卷反馈中，被试解释了他们做出某种反应的理由，并表明了哪些事实对他们的决策起到了决定性作用。通过聚焦分布于两端的极端反应，团队可以探寻数据中的模式，寻找在员工培训、企业流程以及企业为员工提供的信息中可能存在的缺陷。

顾问和内部项目团队将共同开发工具和流程，应用决策卫生策略和消除偏差的原则，以改善部门内的决策与判断，这一过程可能会延续数月。与此同时，顾问和专业团队还将编写一份项目报告提交给该组织的领导。

此时，企业已经在它的一个部门中做了噪声审查的尝试。如果这个尝试被认为是成功的，接下来管理团队可能会对企业内的判断与决策开展更广泛的评估以及品质方面的提升。