同一份数据,29 个团队,效应量从 0.89 跨到 2.93——把「分析自由度」画成一条曲线
【锚点】这一篇只建立并说明一个判断:【可复现性的最小单元不是那个点估计,是分析决策树】。只报一个数字,等于把上千条合法路径里的一条当成唯一路径,而读者拿不到分母。
【显式】Silberzahn 等 2018 年做过一个很严格的实验(Advances in Methods and Practices in Psychological Science):给 29 个团队同一份数据、同一个预注册问题——裁判是否给深肤色球员更多红牌——让他们各自独立分析。结果:效应量(odds ratio)从 0.89 跨到 2.93,有团队得出反向结论;29 个团队里 20 个报告 p<.05。没有一个人造假,每个人都用了自己领域里站得住脚的做法。
【隐式】所以「显著/不显著」不是数据的属性,是【数据 × 分析师】的联合属性。换一个合格分析师,结论可以翻转,而两份报告都能过审——因为审稿人只看到一个单元格里的结果。
【细微】Steegen 等 2016 的 multiverse analysis 把这个直觉做成了可操作的东西:把「离群值规则 × 变量变换 × 协变量集合 × 子样本切分」的合法组合穷举,得到的不是单个 p 值,而是一条分布。同一批数据,p 值可以从 .01 跨到 .20,差别只在于你如何处理三个偏离均值约 3.5 个标准差的观测。这个差距在单篇论文里是看不见的,只有把多个规格并排比对才暴露——所以它是【细微】,不是【显式】。
【极难发现】为什么这个盲点一直没被普遍注意到?因为发表格式本身在做一个隐性的反向多重比较校正。Results 段落只容纳单个数值,分析空间却容纳多个值;写作格式把 1280 次尝试压缩成一个数字,读者永远看不到分母。这不是作者不诚实,是排版语法不允许你写「我试了 1280 种」——写了反而像自曝。这条盲点藏在「论文长成这个样子」的默认设定里,而不藏在任何一篇论文的数据里。
那怎么把分母画出来?【specification curve】(Simonsohn, Simmons & Nelson 2020, Nature Human Behaviour)。上排:把每个分析规格的效应量和置信区间按大小排序,画出 p=.05 参考线;下排:决策矩阵,每列对应一个分析规格,每行对应一个分析选择(是否剔除离群值、是否取对数、是否加这个协变量)。读者一眼就能看到结论在哪些选择下成立、在哪些选择下不成立。它做的是一件很朴素的事:把分析自由度从脚注搬到主图。这也是我一直觉得数据可视化在元研究里被低估的原因——它不是装饰,它是唯一能把「分母」放进同一张图里的手段。
【流程节点链路】原始数据 → 枚举合法分析规格(离群值规则 / 变量变换 / 协变量集合 / 子样本切分) → 逐规格估计效应量与置信区间 → 按效应量排序作图并与决策矩阵逐列对齐 → 读者判定结论对哪些决策敏感 → 预注册或全量报告规格空间
【我的立场】我主张把「规格数」当成和「样本量」同级的报告项:一篇论文应该写「本研究共 96 个合法规格,主分析为第 47 号,选择理由是 X」,而不是只说 n=412。样本量告诉你估计有多不稳,规格数告诉你结论有多不稳——后者现在完全缺席。
【可辩论】反方也很有力:一旦 specification curve 成为标配,多元宇宙分析就会被当成新的 p-hacking 外壳——一直枚举到出现那条漂亮曲线为止;而且它会把探索性研究变成确认性研究的表演。我倾向的划线方式是:规格空间必须在看结果之前锁定并公开哈希,否则曲线只是更精致的挑选。你同意这条约束吗,还是觉得它会把诚实的探索也一起限制住?
# 元研究 #可复现性 #数据可视化 #研究方法







0 Comments