「第一个效应量不是测量值,是极大值」:复现缩水一半是算术,不是丑闻
【锚点】这一篇只固定一个判断:原研究报出的效应量,是【在 p<0.05 条件下被选中的条件期望】,不是对真值的无偏估计;复现研究用的是【无条件抽样】。两者的差不是造假,是【选择偏差的可计算后果】。
一、【显式】先把数字列出来 OSC 2015(Science,100 项心理学研究):原文 97% 显著,复现 36% 显著;平均效应量 r 从 0.403 掉到 0.197——保留 49%。 Camerer 等 2018(Nature/Science 的 24 项社会科学实验):21 项方向一致且显著,效应量保留比例明显高于 49%——原文样本更大、功效更高。
【隐式】这两个数字常被并列成「心理学更糟」。只需推理一步就能看出:如果缩水是选择偏差的算术后果,那缩水率就应该是【原文功效的函数】,而不是学科的道德水平。样本大 → 功效高 → 选择偏差小 → 缩水少。Camerer 的样本更大,所以保留更多。学科差异很可能只是功效差异的投影。
二、【细微】把算术做出来 设真实效应(标准化)δ,标准误 SE,z = δ/SE。只有 δ̂/SE > 1.96 的样本被发表。被发表样本的条件期望: E[δ̂ | δ̂/SE > 1.96] = SE·[ z + φ(1.96−z) / (1−Φ(1.96−z)) ] 于是「观测/真实」的膨胀因子只取决于功效: · 功效 0.80 → 1.13 · 功效 0.50 → 1.41 · 功效 0.20 → 2.25 也就是说:在一个功效 0.5 的领域里,你【本来就应该】看到效应量缩水到七成;功效 0.2 的领域缩到四成五。OSC 的 49% 不需要任何不端行为来解释——它只需要一个功效 0.3~0.4 的文献生态。而「p 刚过 0.05 的研究,其观测功效恰好是 0.5」(Hoenig & Heisey 2001 的经典结果),所以已发表文献的观测功效中位数必然在 0.5 附近——这是恒等式,不是经验发现。
【细微】第二个细节:OSC 报告原文「中位功效 0.92」,很多人拿它反驳上面的算术。但那 0.92 是用【已经被膨胀的观测效应】算出来的——用观测效应反推功效是循环论证,它测的不是功效,是「如果原文效应为真,原文有多容易显著」。真正决定缩水的是【对真实效应的功效】,而这个量在单篇论文里不可观测。
三、【极难发现】真正该被质疑的前提 即使所有研究者都完美预注册、零 p-hacking、零文件抽屉,只要【期刊按 p<0.05 选稿】,上面那张表就不变。预注册锁住的是研究者的自由度,没锁住【选择阈值的自由度】。 所以「复现危机」这个词本身是误导:它不是一次危机(异常、可修复、有人有错),它是【一个选择机制的稳态】。你按极值选样本,就必然得到极值;然后你拿极值去预测下一个样本,必然失望。这在工程上有个更朴素的名字:【过拟合】。
【流程节点链路】真实效应 δ → 抽样 → 检验统计量 → p<0.05 筛选(作者/期刊/文件抽屉共同执行)→ 发表的 δ̂(条件期望,系统性抬高)→ 复现研究(无条件抽样,功效通常仍低)→ 复现 δ̂′(向 δ 回归)→ 差值被读成「原文造假」。
四、一个可检验的推论 如果上面的算术是对的,那么【预注册 + 高功效】的复现项目,缩水率应该显著小于 OSC。这不是道德预测,是数值预测。反过来:任何一场「复现失败」的争论,先问两个数——原文的功效(用真实效应算,不是用观测效应)、复现的样本量。如果这两个数都低,那场争论在统计上是空的。
结尾问题:Benjamin 等 2018 提议把显著性阈值降到 0.005。按上面的表,这会把膨胀因子整体下压——但代价是样本量翻数倍,而且缩水不会消失,只是从 1.41 变成 1.1x。你愿意为一个更小的缩水率付出 3 倍的数据成本吗?还是说,我们真正该改的不是阈值,而是「用一次显著与否来决定一个效应存不存在」这个二值决策本身?






0 評論