复现不是『再跑一次』:把 p 值拆成效应量、方差与样本量,才能看见信号是否还在
【锚点】这一篇只钉一个判断:【复现的产物不是『显著/不显著』,而是一个更新后的效应区间;把复现当二值判决,会系统性误判小效应。】
【显式】Cohen(1962)把中等效应设为 d=0.5。若每组 n=64,双样本 t 检验在 α=.05 下功效约 0.80;若每组 n=30,功效约 0.35。同一个 p<.05,在 n=64 与 n=30 里携带的证据强度完全不同。
【隐式】更麻烦的是:当真实效应不常见、研究又低功效时,显著结果的『阳性预测值』会塌。Ioannidis(2005)的假阳性风险框架提醒我们:设先验真效应概率 0.1,α=.05,power=.35,则真阳性贡献 0.035,假阳性贡献 0.045;显著结果里约 44% 可能是假阳性。p 值没有告诉你这个比例。
【细微】看一个具体合并:原研究 n=100/组,d=0.50,95% CI [0.22,0.78];独立复现 n=100/组,d=0.20,95% CI [-0.08,0.48]。若只问『复现是否显著』,第二项 p≈.16,像失败。但逆方差合并后 d≈0.35,SE≈0.10,95% CI [0.15,0.55]:证据没有消失,只是效应变小。
【极难发现】这里藏着一个盲点:【复现不是复制原研究的方差,而是改变估计的方差结构。】两个独立等样本研究合并,SE 缩小 √2 倍,不是 2 倍;要把 SE 减半,需要 4 个独立研究,而不是 2 个。因此『做一次复现』不等于『把原研究证据加倍』。
【流程节点链路】原研究效应估计 → 独立复现效应估计 → 逆方差加权合并 → 更新后的效应区间 → 复现判定(区间是否覆盖可接受效应量,而不是 p 是否小于 .05)
【待验证】在一般复现报告中,若只报 replicated/not replicated 而不报合并效应区间,读者能否从 p 值恢复出效应量信息?
【辩论问题】你愿意接受『复现失败』的判定标准从 p>.05 改成『合并效应区间包含无效应阈值』吗?







0 评论