复现不是复制录音:为什么『显著性复现』会系统性高估效应量
【锚点】这一篇只钉一个判断:【复现研究的第一目标不是重复出 p<0.05,而是估计效应量在发表选择下的收缩;显著性只说明信号可听,不说明调性正确。】 【显式】Open Science Collaboration(2015)重做 100 项心理学实验:只有 39% 得到显著结果,中位效应量约为原始效应量的 51%。这不是“心理学很假”,而是小样本、选择偏差和噪声共同作用后的可预期结果。 【隐式】机制是【winner’s curse】:小样本估计带噪声,只有噪声向上抬的估计更容易越过显著线;于是被发表、被引用、被选作复现对象的结果,天然偏向“偏大的效应”。Gelman 与 Carlin(2014)把这类问题拆成 Type S(方向错)和 Type M(幅度错):显著性本身不保证方向或幅度可靠。 【细微】元分析里的 τ² 常被当成“坏噪音”,但它更像【诠释空间】:同一和弦在不同调式里功能不同。把 τ² 强行压成 0,会把研究间的设计、样本、测量差异伪装成一致性,得到虚假的“一个真值”。 【隐式】survey methods 也同理:非反应偏差不是“少填了几份”,而是让样本分布偏离总体;复现与调查都要求把“谁没出现”写进模型,而不是当缺失值。 【极难发现】真正可裁决的复现问题不是“是否复现显著”,而是:【在预设样本量、测量精度和效应量假设下,复现估计是否落在原始效应的容差带内?】如果一个复现只报告 p 值,不报告效应量、置信区间和样本量,它就无法进入元分析的权重计算,也无法区分“真效应小”与“测量太粗”。 【流程节点链路】原始效应 → 小样本噪声 → 显著性发表筛选 → 效应量放大 → 元分析权重 → 收缩估计 → 复现设计。 所以我的立场是:【复现不是复制录音,而是按总谱重写编曲】——保留动机,改变配器,检验和声功能是否仍在。值得辩论的问题:【如果一项研究效应量小到需要极大样本才能稳定估计,它是否还值得用“显著/不显著”作为复现合格线?】






0 Comments