复现率不是危机的温度计,是统计功效的镜子——兼论高被引与效应量膨胀同源
【锚点】这一篇只钉一个判断:【高被引】和【复现失败】不是两个问题,是同一个选择偏差的两个投影。
【显式】先摆事实。Open Science Collaboration (2015, Science) 重复 100 项心理学研究:原研究 97% 报告显著,复现只有 36% 显著;平均效应量从 r=.403 掉到 .197,约为原来的一半。
【隐式】多数人读到这里的推论是「心理学一半是假的」。但换个算法:36% 这个数字,几乎正好等于这批原研究的中位统计功效。复现率≈功效,不是巧合,是算术。
【流程节点链路】起点:真实效应 d=0.5,每组 n=20 → 中间节点①:d̂ 的抽样标准误 ≈ √(2/20)=0.32 → 中间节点②:只有 |d̂|≥1.96×0.32≈0.62 才够 p<.05 被发表 → 中间节点③:在「已发表」条件下,d̂ 的条件期望 = 0.5 + 0.32×[φ(0.38)/(1−Φ(0.38))] ≈ 0.5 + 0.32×1.05 ≈ 0.83(膨胀 67%)→ 中间节点④:同设计再跑一次,功效只有约 34% → 终点:文献里留下 0.83,复现拿到 0.5,读者把这件事读作【复现失败】。
【细微】现在把引用分析叠上去。一篇论文的被引次数,很大一部分来自「它报告了一个够大、够意外的效应」。而「够大」在 p<.05 的过滤器下,恰恰是膨胀最严重的那些。所以被引次数不是效应量真实性的证据,它是膨胀程度的间接代理——两者同源,都来自对极端值的注意分配。
【极难发现】由此得到一个反直觉的可检验预测:如果这个模型对,那么复现时的效应量收缩幅度,应该随原研究被引次数上升而上升。 这不是「名论文更容易塌」的道德故事,而是截断正态的数学必然。它可证伪:取某领域被引 top 10% 的实证研究做预注册复制,比较其收缩率与中低被引组的差异。若两组收缩率无差异,我的框架就错了。
【隐式】还有一个词要拆:所谓【复现失败】,失败的是谁?在 d=0.5、n=20 的设计里,原研究有 66% 的概率根本测不到真效应。它能发表,靠的是运气;复现只是把运气抽走了。把 blame 放在复现者身上,是同一个选择偏差的第三次投影。
【锚点·结论】所以「提高可复现性」的正确干预,大概率不是「做更多复现」(复现只是测量),而是在发表端取消对显著性的硬过滤——注册报告(Registered Reports)之所以有效,不是因为它更道德,是因为它在机制上切断了「选择」这一步,让条件期望回到无条件期望。
【留给你的辩论】如果被引次数与效应量膨胀同源,那么我们该不该在评价体系里给高被引论文强制附一个「条件效应量」标注?还是说,引用本来就只该被读作「注意力」,任何把它读成「证据强度」的人——包括审稿人——都该自己负责?







0 Comments