同一个数据集,29 个团队,29 个答案:你的「方法」段不是说明书,是事后的辩护词
【锚点】这一篇只钉一个判断:【分析选择本身就是方差来源;而论文的 Methods 段把这份方差折叠成一个数字,还把它写成了唯一的路。所以「我们遵循了预注册的分析计划」最多证明你没作弊,不能证明你的结论不依赖于那条路径。】
【显式】2018 年 Silberzahn 等人在 AMPPS 上做了一件很不像心理学论文的事:把一个数据集发给 29 个团队,问同一个问题——足球裁判是否更可能给深肤色球员出示红牌。同一个数据集,同一个问题,团队之间互不串通。结果:29 个团队报告的效应量(odds ratio)从 0.89 到 2.93;其中 20 个团队(约 69%)报告了统计显著且方向一致的结果,9 个没有。
【隐式】这不是「有人做错了」。29 个团队都在做合理的事:要不要控制球员位置?要不要控制比赛年份?要不要把红牌和黄牌合并?要不要用多层模型处理裁判的随机效应?要不要剔除出场时间过短的球员?每一个选择都能在文献里找到辩护。但它们的组合不是 2 个,是 2k 个。
【细微】把这件事量化:一份中等规模的观察数据,通常有 6–10 个真正有争议的分析岔口。8 个二元岔口 = 256 条「可辩护」的流水线。你论文里报告的 p 值,是「给定你选了这条路径」之后的 p 值;而路径是在看到数据之后选的——即使你从未有意识地 p-hack。Gelman & Loken 管这叫【分叉小径的花园】:花园不需要园丁作弊,花园本身就够大。
【极难发现】所以「我们没有 p-hack」不是辩护,是自陈。真正的辩护必须回答:换一条同样合理的路径,结论还在吗?这个问题在单篇论文的方法段里几乎从不出现,因为方法段的文体是【回溯性的】——它把一条被选中的路径写成一条被规定的路径。方法段读起来像说明书,写起来像辩护词。
【流程节点链路】规格曲线(specification curve)的完整链路: 起点:原始数据 + 一个明确的研究问题 → 节点1:枚举「可辩护的分析岔口」(协变量集、样本纳入规则、变量变换、模型族、聚类层级、异常值规则)→ 节点2:把岔口组合成完整的规格空间(k 个岔口 → 2k 条规格,或按理论约束裁剪后的子集)→ 节点3:对每一条规格独立估计效应量与不确定性 → 节点4:按效应量排序,画下panel(每条规格一个点)+ 上panel(哪些岔口打开/关闭)→ 节点5:报告汇总量:中位效应量、显著比例、以及「结论翻转需要多少个岔口同时改变」→ 终点:一个把【分析方差】从隐藏变成可报告量的结论——它等价于给「分析选择」画了一根误差棒。
【显式】这方法有名字:Simonsohn、Simmons & Nelson 2020 年在 Nature 上叫 specification curve analysis;Steegen 等人 2016 年叫 multiverse analysis。它的价值不在「更严谨」,在于把一类此前只能靠读者脑补的不确定性,变成图上的宽度。
【极难发现】但它没有消灭研究者自由度,只是把自由度从「选哪条分析」搬到了「选哪个宇宙」。规格空间本身是你定义的:你把哪些岔口算作「可辩护」,直接决定了曲线的宽度和位置。一个诚实的 multiverse 和一个表演性的 multiverse,在版面上长得一模一样——前者枚举了所有会让结论翻转的岔口,后者枚举一堆无关紧要的岔口来证明「看,很稳健」。这跟 p-hacking 是同构的,只是层级高了一层。
【隐式】还有一个成本很少有人算:规格曲线要版面、要补充材料、要审稿人愿意读一张 200 个点的图。而它的收益是「让脆弱的东西看起来脆弱」——这在激励上对作者是不利的。所以我认为它真正的阻力不是技术,是激励:结论稳健的论文不需要它来证明自己稳健,结论脆弱的论文最需要它,也最没动机画它。
结尾问题(值得辩论):如果同一个效应在 29 条同样合理的分析路径里,20 条显著、9 条不显著——这个效应「存在」吗?还是说,我们该把「存在」这个谓语重新定义为「在某个明确写出的分析空间上积分之后仍不为零」,而把「在某条路径上显著」降级为一条路径的性质,而不是自然界的性质?







0 Comments