90亿年回归:统计分析的多层方法

研究人员从未完全知道他们选择的统计方法是否为他们的数据提供了可能的最佳模型。他们对数据分析方式的选择也会影响结果。康奈尔大学社会学副教授Cristobal Young博士正在使用多元宇宙分析来提供一个严格和透明的框架来解决模型不确定性的内在问题。

模型不确定性是现代科学的核心挑战。研究人员不知道实际生成数据的模型是什么，也不能确定他们使用的统计方法是否是最好的。此外，研究人员可以在搜索结果的过程中探索无数的分析变量，但读者只能看到为数不多的为出版策划的估算。这些研究者的“自由度”代表了当今科学的危机：经验结论主要是由数据驱动的，还是主要由研究者的分析假设驱动的？一个研究者对结果有多大的影响？

康奈尔大学社会学副教授Cristobal Young博士正在处理这个难题。他认为“今天的‘科学危机’根源于模型不确定性和透明度弱的问题。”杨博士展示了目前给研究人员和作者提供的回旋余地，使他们能够选择自己喜欢的结果。他还提供了量化研究人员选择统计模型的影响的方法。

模型不确定性
所有实证估计都需要具体的建模假设，研究人员必须选择要采用的假设。定义变量，清洁数据，异常值的处理，标准误差的计算以及功能形式的选择的决定意味着能够选择不同的统计方法并产生来自相同数据集的不同结果。设计分析和指定模型通常会对研究人员提出最大的挑战。年轻博士指出，这里的潜在问题是模型不确定性，因为没有人真正知道哪种模型规范最适合特定的研究。通常有许多可信的模型可能提供数据可以支持的各种结果。这使得难以说明所有合理的研究人员都能达到特定的研究人员，或者如果经验结果高度依赖研究人员的特定选择。这强调了模型规范中透明度的重要性。

多模态分析
Rather than asking ‘which is the best model?’ Dr Young encourages researchers to ask ‘which models deserve consideration?’ Embracing a wider range of models allows authors, journal reviewers and readers a clearer view into how the conclusions rest on a credible, comprehensive, and robust foundation. Multimodel analysis acknowledges alternative combinations of modelling assumptions that different authors could use and offers significant improvements in the transparency and robustness of statistical research. The fundamental challenge in multimodel analysis, however, is defining the set of plausible models.

今天的“科学危机”植根于模型不确定性和透明度有限的问题。

模型假设的多层
杨博士为多模态分析开发了一个计算框架。他解释说，目标是“提供透明和系统的替代结果报告，研究人员可以从其他合理的模型规范中获得。”，有一个多重宇宙-多重分析宇宙-在这个宇宙中，所有用给定数据集分析研究问题的可信方法都同时存在。一种计算方法旨在减少作者在从多元宇宙中选择他们喜欢的结果时的自由裁量权，同时也扩大了所考虑的模型和结果的范围。

该方法涉及指定一组可信的模型组件，如控制变量、变量定义、估计命令、功能形式和标准错误计算，并估计这些组件的所有可能组合。这可能涉及到运行模型规范的数千个小变化，结果报告为估计的图形分布。

在实证检验中，多元宇宙显示出模型稳健性的三种基本模式:
•在某些情况下，无论如何指定模型，统计结果都有效。模型组件的任何组合都将生成相同的结果。
•其他时间，结果仅取决于一个或两个模型组件，例如特定的控制变量。这会提示跟进分析，以了解为什么控制变量非常重要。
•最令人担忧的是，一些结果取决于“刀刃”规范，并仅在100个合理的模型中支持一个。

作者仍然可以自由地展示他们喜欢的模型，尽管在一个显示其他结果的图的上下文中，这些结果可以通过一组可接受的模型组件找到。

90亿次回归
误报 - 统计上显着的结果 - 即使在分析完全是随机噪声的数据时也是共同的。杨博士的研究采用大规模的随机噪声模拟，以调查模型不确定性发生的过度误报误差问题。此外，它显示了多层分析如何识别和消除许多误报。

仿真策略包括进行噪声对噪声的回归分析。这项工作涉及对17种不同的数据大小和模型不确定性的条件中的每一种进行5000次模拟。对每种情况进行了大约5.5亿次回归——总共超过90亿次。仿真结果表明，当样本容量较小时，模型不确定性较高时，误报率最高。当假阳性率最高时，多元宇宙分析效果最好——常规地将“显著的”结果标记为不稳健，并使用一个极端特殊的模型规范。

在评估研究结果时，对替代模型的多元分析至少同样重要
统计学意义。

这些模拟表明，首先，为了减少假阳性结果的扩散，研究人员应该希望使用更大的数据集。第二，成熟的研究领域具有强大的、成熟的先验理论和较少的模型不确定性，往往会产生较少的误报。最后，多元分析提供了一个强有力的检查对膨胀率的统计意义，在更新颖的研究领域有更大的不确定性的分析。

在现实世界中的多层
通过重新审视具有女性名称的飓风更加致命的争议的研究来说明多层分析的信息潜力。使用所有飓风的数据在美国占地六十年，研究报告称，具有女性探测名称的飓风始终如一的死亡人数。该研究启发了在原始日记中发表的一系列评论和再次进展者，并讨论了许多替代估算策略。Young博士使用这些建议的所有可能的组合来填充包括1,152个独特型号规格的多层分析。结果是讲述：绝大多数合理的模型显示出飓风“性别”的零效应，低于5％的规格支持原始索赔。几乎任何其他分析数据的方法都未能支持该研究的索赔。

杨博士建议对经验数据进行模型稳健性分析，以帮助区分真正的关系和怀疑发现，以便基于数据而不是建模假设来解决更明确的结论 - 发现。

下一个前沿:一些模型比其他模型更平等
多元宇宙方法考虑了所有可能的合理模型组合，并产生了相关的估计分布。在计算多元统计和分布时，每个模型都被视为同等有效。然而，杨博士指出，一些看似合理的模型比其他模型更具说服力。这就增加了通过适当的有效性度量对模型进行加权的可能性。Young在这方面的研究探索了使用“模型影响”分数来衡量可能的模型，同时考虑到潜在的变量偏差。他警告说，可能的模型权重涉及透明度和模型选择之间的权衡。然而，它为多元宇宙分析提供了一条有前途的道路。

Young博士的计算框架使多个人提供了如何进行分析和报告的核心。它促进了更严格和全面的稳健性测试，使模型不确定性成为社会科学的固有部分。它减少了分析师和读者之间信息的基本不对称，并解决了过多的虚假积极研究结果。博士年轻的强调认为，“在评估研究结果时，替代模型的多层分析至少与统计显着性一样重要。”

注:杨博士的多元宇宙分析软件是开源的，研究者可以免费获得。类型ssc描述mrobust在斯塔塔。