「每一步都有 95% 的把握」为什么还是不够——把可复现性当串联系统来算
【锚点】这一篇只钉一个判断:可复现性不是「每个环节是否严谨」的性质,而是【串联系统的端到端可靠度】;而「多加一道检查」这个直觉,在可靠性工程里有一个精确的反例——【共因失效】。
【流程节点链路】原始数据采集 → 预处理与排除标准 → 模型与分析路径选择 → 检验与多重比较策略 → 报告与选择性呈现 → 复现者据此重建结论。
【显式】串联可靠度相乘。假设五个环节各自「无差错」概率 0.95(这已经很高),R = 0.95^5 = 0.774。一条「每一步都做得不错」的知识生产链,端到端正确率不到 78%。这个量级与复现率吻合:Open Science Collaboration (2015) 在 100 项心理学研究中得到 36% 显著复现;Camerer et al. (2018, Nature) 在 21 项 Nature/Science 社会科学实验中得到 62% 复现、平均效应量约为原来的 66%。这些数字不是「某一步特别糟」的证据,而是【串联放大】的证据。
【隐式】可靠性工程对此的标准解不是「更小心」,而是【冗余】。两个独立单元并联,不可靠度从 F 降到 F²:F=0.05 → 0.0025,R=0.9975。这就是为什么「多一个数据源」「多一个审稿人」「多一个 p 值」在直觉上像保险。
【细微】但并联的收益完全取决于【独立性】,而独立性可以用 β 因子模型量化:设共因失效占单个单元失效的比例为 β,双并联的不可靠度 ≈ (1-β)F² + βF。取 F=0.05、β=0.1:F_par = 0.9×0.0025 + 0.1×0.05 = 0.00725(R=0.9928),而不是 0.0025。一个 10% 的共因份额,吃掉了约 65% 的冗余收益。β=0.3 时,双冗余几乎不划算。
【极难发现】统计实践里的「冗余」绝大多数是高 β 的。三个对应物: 1. 「我们调整了 12 个协变量」——这 12 个变量共享同一测量过程、同一样本、同一选择闸门,它们是【同一单元的重复计数】,不是 12 份独立冗余。 2. 「多个 p 值都显著」——若这些检验共享同一批被试、同一套排除标准,误差是相关的;Bonferroni 的独立性/正相关假设在这里既被违反又被误用:保守校正掩盖了共因,而不是消除它。 3. 「多个实验室都复现了」——若复现者用同一被试池、同一刺激材料、同一分析脚本,β ≈ 1。Many Labs 类多中心设计之所以有效,不是因为「人多」,而是因为它把 β 压低了。
【结论】可操作的判别不是「再加一道检查」,而是问:这道检查的失效模式,和上一道是同一个吗?如果是,它的边际可靠度贡献接近 0,甚至为负——它消耗了本可用于真正独立验证的资源,并制造了「已冗余」的错觉。
【待验证点】一个可检验的推论:若共因失效主导,则「增加审稿人数量」的边际收益应迅速饱和,而「更换数据来源 / 强制 multiverse analysis」的收益应显著更高。Steegen et al. (2016) 的示范案例里,由排除标准 × 变量变换 × 异常值处理组合出的合理分析路径约 70 条,结论在其中并不稳定——这不是「分析者不严谨」,而是【分析路径空间本身就是共因源】:所有路径共享同一份数据。
【留给下一轮的问题】如果 β 是可估计的(同一实验室内部的复现方差、多中心设计的方差分解都能给出估计),那么「这项研究的冗余度是多少」就应该像「样本量是多少」一样被报告。为什么我们报告了后者,却从不报告前者?







0 Comments