结构化专家判断使用经典方法

复杂决策缺数据时,可使用结构化专家判断综合专家评估所得不确定性分布Roger Cooke, Chauncey Starr未来资源高级研究员和Delft技术大学荣誉教授创建了著名的经典模型,用专家意见量化不确定性库克教授与Delft理工大学Tina Nane博士和墨尔本大学Anca Hanea博士一起介绍“不确定性下决策:结构化专家判断简介”,这是唯一免费在线专家判断课程

在无法从现有数据和模型获取适当信息的情况下,当必须作出复杂决策时,常征求专家意见。专家被要求量化其兴趣量不确定性,为决策过程提供参考此外,专家不太可能完全相互协议在这种情况下,专家判断可用于量化随之而来的不确定性并汇总专家意见

Roger Cooke, Chauncey Starr未来资源高级研究员和Delft技术大学荣誉教授创建经典模型,又称Cooke方法,用专家意见量化不确定性经典模型自制定以来三十年中一直用于对各种应用进行结构化专家判断,包括气候变化、灾害管理、流行病学、公共和全球卫生、生态学、航空、核安全、环境生态学库德教授还同Delft理工大学Tina Nane博士和墨尔本大学Anca Hane

专家判断范围从请求个体专家最优猜想到遵循正式结构化方法系统获取并组合概率判断不等。集思广益称专家启发验证专家判断有挑战性,因为只有当其他数据缺时才使用专家判断测量它们的精度因此是一项艰巨任务

结构化专家判断
结构化专家判断汇总专家不确定性分布Cooke解释结构化专家判断方法旨在“量化不确定性,而不是从决策过程中消除不确定性”。专家数据如被公认为科学数据,应接受与任何其他类型数据相同的质量控制他建议类方法,即结构化专家判断,满足被称为'科学'方法所需四大原则它们是可检验性/可问责性、中立性、公平性和经验质量控制库克经典模型可以说是使用专家意见量化不确定性的最严格方法

结构化专家判断方法旨在“量化不确定性,而不是从决策过程中消除不确定性”。

经典模型
名解模型突出显示方法与经典统计的联系经典模型使用客观性能测量验证专家意见专家评估不确定目标问题 和一组标定题标定题来自专家知识领域,观察真实值并经常使用官方报告数据,而官方报告尚未公诸于众。专家评估标定题性能评分验证通过评估专家评估的统计精度和提供多少信息实现。这两项量化性能测量用于计算性能加权数

经典模型综合专家分布使用这些性能加权法,优化综合专家或决策人性能优化基于性能聚合产生几个有趣的数学问题Cooke用非技术术语描述性能衡量方法必须奖赏专家统计精度和资料性,同时劝阻专家声明不同于真知灼见的判断决策人性能可用与专家性能相同的方式评价,使用相同的性能度量法性能优化决策人对应虚拟专家,并可由现实决策人采纳交叉校准子集用于生成权值并预测排除校准变量

应用
多项研究使用经典模型要点包括1990年代欧洲联盟和美国核管制委员会正在进行的研究中核安全应用西印度群岛蒙特塞拉特岛1995至2018年长时间火山喷发期间,经典模型是一个关键决策支持程序哈佛大学和科威特政府用Cooke方法研究细粒子、微粒或小滴形式污染空气并用于世界卫生组织2011-2013年食品传播疾病调查

疾病通过食物和水传播
最近,疾病控制预防中心与佛罗里达大学协同RogerCooke、Tina Nane和Willy Aspinall用Cooke经典模型进行了大规模结构化专家判断研究,以控制和预防美国食物水传播疾病专家启发于2017年5月为期两天的讲习班上进行,有来自各种专业和科学背景的48名专家参加。估计有33种病原体比例,包括沙门氏菌和Legionella等细菌和病毒,如诺罗病毒和乙型肝炎,分五大传播路径(食物传输路径、水传输路径、人际接触路径和环境路径)和六大相关子路径。

研究者们评论说,方法使得估计数有可能从多数据源得到信息,如突发监视数据、零星疾病研究、案例报告以及专家专业知识他们还指出使用标定题权衡专家响应,经典模型的一个独有特征,即“用其他引素方法找不到导理数学机”。研究结果使人们理解识别病原体多传播路径,支持资源定位和公共卫生干预优先排序以及知情政策

气候变化
气候变化充满不确定性,库克观察科学界和广大民众在推理不确定性时出错,无法准确表达错误。面对多不确定量, 大多数人会鉴别他们认为每种量最有可能产生的结果, 并推理这些值是否确定不确定性后加限定词,如“高度自信”、“最有可能性”和“虚拟确定性”。这一点在决定是否使用伞工作时可能令人满意,但在决定社会应如何处理影响生活的气候问题时可能不令人满意。高置信集并诱发“信任陷阱 ” : 认为对数项声明的高度信任可令所有声明并发高度信任试想一下:你可能高度确信六分数不会上传到二分三分四分概率约二分之六四投出不确定性推理必须服从概率法则,即使概率主观性向非公众传递不确定性很难,但如果通信者本身不理解不确定性,那几乎是不可能的。库克认为,这是处理气候变化问题的一大挑战事前我们必须决定这就意味着在不确定状态下决策-我们做得太差

Cooke在审查49项专业承包研究时强调了确保专家主观概率使用科学方面的挑战评估显示专家普遍不自信深入了解领域专长和经验如何影响统计精度和资讯性此外,审查显示需要交叉验证,以测量标定变量性能预测兴趣变量性能的优异程度

英国布里斯托尔大学、美国普林斯顿大学和拉特格斯大学及未来资源研究的研究人员已经完成了一项关于气候变化的重要结构化专家判断研究。使用经典模型调查冰盖动态效应对全球平均海平面上升的贡献

预测海平面即将上升具有挑战性即便如此,迫切需要量化未来海平面上升不确定性,特别是上端估计值,为适应策略提供信息专家启发于2018年在美国和联合王国举办的两次为期两天的讲习班上进行,有22名专家参加格式和问题完全相同,以便使用经典模型合并结果研究组发现,到2100年,海平面上升可能超过2m,比联合国政府间气候变化专门委员会第五次评估报告提出的上值高一倍多。此外,这将对人类产生深远后果,可能损失179万平方公里土地,包括粮食生产区和多达1.87亿人流离失所。

使用校准求权专家响应,经典模型的一个独有特征,即“用其他引理法找不到导理数学钻孔器”。

文章详解该研究发表于美利坚合众国国家科学院记录中,引起极大关注。263新闻发布自331新闻中提及, 2019年第70次最受讨论论文显示,

在线模块
经典模型也是大规模在线课程的重点:“不确定性下决策介绍专家结构判断”,由Roger Cooke、Tina Nane和Anca Hanea介绍课程分为六部分,以交互和主动方式综合理论与应用

向学习者介绍结构化专家判断方法,特别是经典模型,并教教为何和何时应用这些方法学会解析复杂决策环境的不确定性评估与偏差并有机会分析专家数据ExCALIBUR或Anduryl软件包实施经典模型并获取感兴趣问题解答可选模块包括探索依赖感导并推断概率,对现实世界假设应用结构化专家判断方法,并使用不同方法即IDE协议模块唯一可用专家判断模块迄今三次运行中,它吸引了121个国家的7 000多人参加。

在线后续课程专攻结构化专家判断学习者有机会在Tina Nane和RogerCooke近距离指导下自学学习者将设计学习并收集、评估专家意见的性能并综合他们还将分析并报告研究发现

经典模型评价
库克收集多年多项研究的专家数据,评价经典模型并与其他可能的加权法比较,包括等重和量化汇总法经典模型优于分析中考虑的其他聚合法研究结果显示经典模型在样本内和样本外验证和点预测精度方面的优异性此外,与其他汇总方法相比,经典模型生成的基于性能综合专家在统计学上更准确,信息量更高。