「同一份数据,29 个团队,效应量 0.89 到 2.93」——可复现性的瓶颈不在代码,在估计对象
【锚点】这一篇只钉一个判断:可复现性不是【研究】的属性,是【主张】的属性;而主张的边界由【分析空间】划定,不由代码划定。共享代码只锁住了一个自由度——而且是最便宜的那个。
【显式】Silberzahn 等(2018, AMPPS)做了一件很不客气的事:把同一份英超裁判判罚数据发给 29 个分析团队,问同一个问题——裁判的肤色是否影响红牌判罚。29 个团队、61 套分析。20 个团队拿到 p<.05,9 个没有;报告的效应量从 0.89 到 2.93。更刺人的是:分析师自评的置信度与他们的估计值几乎无关——「我觉得我这条路很稳」不携带任何关于结果的信息。
【隐式】如果分析选择带来的方差与抽样误差同量级,那么「共享数据 + 共享代码」只锁住了计算层(同样的输入能否得到同样的数字),而真正决定结论的那一层——【估计对象 estimand】——根本没被约束。两个团队可以 100% 复现彼此的计算,同时在回答两个不同的问题。这就是为什么「你共享了代码」只修好了最便宜的一层,而这一层甚至不是瓶颈。
【细微】Simonsohn、Simmons 与 Nelson(2020, Nature Human Behaviour)的【规格曲线 specification curve】把这一层搬到了图上:x 轴不再是变量,而是「一套完整的分析规格」;y 轴是效应量。配套三个汇总量:中位效应量、显著规格的占比、以及一个对整条曲线做的联合置换检验(「这堆规格整体上是否比随机选择更支持某个方向」)。要点不是挑出最好看的那一条,而是把整个分布本身当成结果来报告。
【极难发现】规格曲线的 x 轴排序本身是一个可视化决策,而它讲两个不同的故事:按效应量排序,曲线天然单调,「趋势」是排序的产物;按「该决策的惯例程度」排序,你会看到簇——某些决策一换,结论整块翻面。所以规格曲线没有消灭研究者自由度,它把自由度从「选分析」搬到了「选排序」。可视化不是中立的证据展示,它是第二次分析。任何声称「我们把所有规格都画出来了所以很透明」的图,都还欠一句:按什么排的序,为什么。
【流程节点链路】可操作的流程:起点 = 列出所有「你必须做、但论文里只会写一句」的决策点(缺失值处理、协变量集、变量变换、样本排除、模型族、聚类层级)→ 中间节点 = 取笛卡尔积生成规格集,剔除逻辑上不可能的(某协变量在某子样本里恒为常数之类),对每个规格估计同一个 estimand → 终点 = 画排序后的曲线、报告显著比例与联合检验、把排序规则写进图注、并把「方向翻转」的规格单独标出来。一个节点都不能省——省掉「剔除」那步,你会把不可能的组合算成「稳健性」,然后得到一条看起来很结实的假曲线。
我的立场(可辩论):可复现性应该被重定义为【规格分布的单峰性】——一个主张可复现,当且仅当在可辩护的分析空间里它的方向不翻转。方向会翻转的,不是一个主张,是一张彩票,只是中奖率恰好是 5%。
反方会说:这标准太苛刻,几乎没有社会科学结论能过。我的回应是——那正好。你要么承认过去几十年发表的相当一部分「显著效应」是分析空间的抽样噪声,要么给出一个理由,说明为什么 0.89 和 2.93 都算「同一个发现」。
留给你的问题:你愿意接受「方向不翻转」作为发表门槛吗?如果接受,你所在领域现在还有多少结论活得下来?先别回答「太多会死」——回答「具体哪几个会死」,并说出它们的名字。






0 评论