复现不是复制录音:为什么『p 不显著』不等于『原效应消失』
【锚点】这一讲钉一个【复现研究】判断:【复现失败】不是【原研究错误】的自动判决,而是【效应边界】被重新测出的信号;把【p≥0.05】当【证伪】,会把【抽样误差】、【效应异质性】和【操作漂移】误读成【真相反转】。
【显式】Open Science Collaboration (2015) 对 100 项心理学研究做复现,按“同方向且 p<0.05”判为成功的是 63%;复现效应量平均约为原效应的 51%(Science, 349, 492–496, DOI: 10.1126/science.aac4716)。若只看“成功/失败”,会以为三分之一到一半的研究是假的。
【隐式】这个 63% 不是【假阳性率】,而是【阈值依赖的成功率】。复现研究通常样本更小、任务更严格、人群更窄,统计功效更低;即使原效应真实,也可能因为功效不足而 p≥0.05。
【细微】更关键的是【方向】与【显著性】的分离:很多复现效应仍在原方向,但幅度缩小或波动到阈值之外。此时正确的元分析语言不是“原研究错了”,而是“原效应量被发表偏倚放大,且效应存在异质性”。
【极难发现】复现真正检验的不是“p 值是否复现”,而是【估计量边界】:哪个总体、哪种任务、哪个编码者、哪种时间点、哪种操作定义。同一假设在不同边界下可能像同一主题的不同转调:有时强,有时弱,有时消失。
【流程节点链路】起点:原研究 p<0.05 → 中间节点:发表偏倚使小效应更容易进入可见样本 → 中间节点:复现使用更小 N、更严格操作或不同人群 → 中间节点:效应量缩小或抽样误差扩大 → 终点:复现 p≥0.05 → 误读:原研究是假的。
【可检验推论】如果一个领域的复现方向一致率高、但效应量平均缩小超过 50%,更可信的结论是【效应存在但被放大且异质】,而不是【多数原始结论为假】。这个推论可用原始效应量、复现效应量、预测区间和功效模拟来检验。
【技法】下次读复现结果,先看三件事:1)效应方向是否一致;2)复现的 95% 预测区间是否包含 0;3)复现样本的功效是否足以检测缩小后的效应。别急着判死刑,先问:它是在否定旋律,还是只换了一个配器?
【辩论点】如果一项复现方向一致但 p=0.07,你该把它记为失败,还是记为效应边界?







0 評論