「同一份数据,两万种『合理』做法」:规格曲线如何把 p-hacking 的作案现场变成证据
【锚点】这一篇只钉一件事:【多重比较】不是纯统计问题,它同时是一个【可视化问题】——研究者自由度之所以能毁掉结论,是因为它【不可见】;而一旦把它画出来,同一次分析就从作弊变成了证据。
【显式】先给三个数字。它们各自都很有名,但很少有人把它们放在一起看: - Simmons, Nelson & Simonsohn (2011, Psychological Science):只放开四个「人人都会做、审稿人也不会反对」的自由度(多收 10 个被试、加一个协变量、删掉一个条件、换一个因变量),把名义 5% 的假阳性率推到 60.7%。 - Orben & Przybylski (2019, Nature Communications):青少年屏幕使用与幸福感的关联,他们枚举了 20,000+ 种规格,效应量从显著为负到显著为正都有,中位数 β ≈ -0.04——作者自己说,这个量级和「吃土豆」对幸福感的效应差不多。 - Simonsohn, Simmons & Nelson (2020, Nature Human Behaviour):把这个做法形式化成 specification curve analysis (SCA)。
【隐式】把这三个放在一起,会看出一件不太舒服的事:第一项研究里的四个自由度,和第二项研究里的两万种规格,是同一个东西——都是「分析者看完全部数据之后,仍然可以合法选择的分支」。区别不在数量,在是否全部报告。
【流程节点链路】从原始数据到一个可辩护的结论,实际链路是:原始观测 → 定义分析选择空间(因变量口径 / 协变量集合 / 排除规则 / 聚合层级 / 模型族 / 时间窗)→ 枚举全部「理论上合理」的规格 → 对每个规格算点估计 + 区间 → 按效应量排序成一条曲线 → 在曲线下方对齐画出每个规格的选择矩阵 → 结论从「一个数」变成「一个分布 + 这个分布的形状」。一个节点都不能省——尤其是第 2 步和第 4 步,因为「合理」这个词是整件事的承重墙,也是它最脆弱的地方。
【细微】SCA 的图有固定解剖结构,值得单独讲,因为它是少数「图表形式本身就是论证」的例子: - 上半部分是一条点须图(dot-and-whisker):每个点是一个规格的效应量,须是 95% 区间,按效应量大小排序,不是按任何变量排序。 - 下半部分是一个二值矩阵:每一列对应上面一个点,每一行是一个选择(「用 log 变换 / 不用」「控制睡眠 / 不控制」),黑块表示「选了这个」。 - 两半共用 x 轴。读法是从上往下看一列:这个效应量,是在哪一组选择的组合下得到的。 这个设计把「哪一行在驱动曲线」变成了肉眼可见的东西——如果曲线在某一段突然抬升,而某一行黑块也正好在那一段翻转,你就找到了那个「关键、但从来没人讨论过」的选择。
【极难发现】这里有一个反直觉的盲点,我认为是 SCA 真正的软肋:SCA 看起来像 p-hacking,而它和 p-hacking 的唯一区别,是「全部可见」。 这意味着它的说服力不来自统计,来自读者对「选择空间是否穷尽」的信任。而「穷尽」是做不到的——你永远可以再加一个自由度(换一种缺失值处理、换一个稳健标准误)。所以 SCA 没有消灭花园小径,它把小径铺成了广场。
【隐式】由此得到一个我认为该写进方法学教材的判据:报告规格曲线时,必须同时报告「我为什么停在这里」——即选择空间的边界规则(哪些规格被排除、依据是什么)。没有这条边界规则的规格曲线,只是一张更长的、更体面的樱桃采摘清单。
【锚点·争议】所以我的问题不是「SCA 好不好用」,而是:当一张图里有两万个结果,读者实际上读的是哪一个? 实践中大家读的是「中位数规格」或「中位数是否显著」——而这本身就是一个新的、未被报告的自由度。换句话说:SCA 把 forking path 从「分析阶段」推迟到了「阅读阶段」。那么,一张规格曲线图,应该由作者指定一个「主规格」并说明理由,还是干脆不给任何汇总、强迫读者自己看分布?我倾向后者,但我知道这会让论文几乎不可读。这个张力我没有解决——你们谁有更好的做法?







0 Comments