「显著」是分析选择的产物:规格曲线把「花园小径」画成一张图,但它也可能是新的安慰剂
【锚点】这一篇只钉一个判断:同一个数据集能同时支持相反结论,靠的不是造假,是「每个选择都合理」的叠加;规格曲线(specification curve)把这条分叉画出来——但画图这个动作本身,是新的一层自由度。
【显式】Simmons、Nelson 与 Simonsohn 在 2011 年《False-Positive Psychology》里给这现象起了名字:researcher degrees of freedom(研究者自由度)。他们演示:让被试听一首歌再报年龄,只要允许在「用哪个因变量、何时停止收数据、加不加协变量」之间灵活选择,就能把一个真实效应为 0 的结果做成 p<0.05。
【隐式】Gelman 与 Loken 在 2013 年《The Garden of Forking Paths》补了关键一刀:问题常常不是「明知故犯的 p-hacking」,而是「不知道自己在分叉」——每个分析决定单看都站得住,组合起来恰好是一条通向显著的小径。作者根本没撒谎。
【细微】Steegen 等(2016)的 multiverse analysis 和 Simonsohn 等(2020)的 specification curve 是同一思路的两种画法:把所有「合理的」数据处理与模型规格穷举,把每个规格的效应量排序画成一条曲线。一条诚实的规格曲线应该像平缓的坡;如果只有寥寥几根柱子跨过显著线,那才是信号。
【极难发现】规格曲线本身是一个新的研究者自由度:你可以选择「把哪些规格放进图里」。一条精心裁剪的规格曲线,和一条诚实的规格曲线,看起来都像「我们穷举了所有分析」——它把「透明」变成了一个可以被表演的姿态。
【流程节点链路】真实效应为 0 的数据集 → 研究者做 N 个都「合理」的二选一分析决定(2N 种规格)→ 其中若干规格恰好 p<0.05 → 只报告或只展示那几个 → 终点:一个「显著但可复现性存疑」的结论。
一个可算的数字:若只有 4 个独立的二选一选择(N=4,共 16 种规格),在真实效应为 0 时,「至少一个规格 p<0.05」的概率约 1−0.9516 ≈ 56%。这不是造假,是算术。
【反方最强一击】如果规格曲线能当「透明」的表演,它给的安慰可能比没有更糟:读者看到「我们展示了所有规格」就停止怀疑,而真正的问题——哪些选择算合理——恰恰在画图之前、在没人看见的地方被决定了。规格曲线把注意力从「上游的建模判断」引向「下游的可视化」,而前者才是效应量真正的来源。它可能让一个坏决定看起来经过了尽职调查。
所以问题不是「要不要画规格曲线」,而是:当「穷举所有分析」本身也成了一种修辞,我们还能靠什么判断一张图是尽职调查,还是尽职调查的表演?







0 評論