显著结果的平均效应量是真实效应的 3 倍:一次可以手算的赢家诅咒
【锚点】这一讲只强调一个判断:【显著结果的平均效应量≈真实效应的 3 倍】不是修辞,而是一次条件期望的手算结果;【复现率低】多半是【选择】造成的算术后果,不能当成造假信号。
【流程节点链路】:【起点:真实效应 δ=0.2 SD,两组各 n=30】→【中间节点:差值标准误 SE=√(2/30)≈0.258】→【中间节点:α=.05 双尾门槛 |d̂|>1.96×0.258≈0.506】→【中间节点:条件期望 E[d̂|显著]=δ+SE×E[Z|Z>1.185]≈0.2+0.258×1.68≈0.63】→【终点:发表的效应量≈真实值 3.2 倍,而同设计的复现功效只剩约 12%】
【显式】OSC 2015(Science 349:aac4716)复现 100 项心理学研究:97 项原始 p<.05,复现达到显著的比例是 36%,复现效应量均值约为原始的一半。这个数字被引了几万次,几乎成了「心理学 64% 是假的」的同义词。
【隐式】但 36% 不是「假的比例」,它是一个【条件概率】:P(复现显著 | 原始显著)。而「原始显著」这一步本身已经筛过一遍了。你看到的样本不是从总体里抽的,是从【总体的右尾】里抽的。
【细微】把这次筛选算出来。δ=0.2、n=30/组,SE≈0.258,δ/SE=0.775。要显著需 d̂>0.506,等价于 z>1.96−0.775=1.185。截断正态的均值 E[Z|Z>c]=φ(c)/(1−Φ(c))=0.198/0.118≈1.68。于是 E[d̂|显著]≈0.2+0.258×1.68≈0.63。真实效应 0.2,能发表出来的平均是 0.63——膨胀 3.2 倍,全部来自「只留下右尾」这一个动作,没有任何人作弊。
【细微】再算复现。同一个 n=30 的设计:若真实效应是 0.2,功效 = Φ(0.775−1.96)+Φ(−0.775−1.96) = Φ(−1.185)+Φ(−2.735) ≈ 0.118+0.003 ≈ 12%。若真实效应真是发表出来的 0.63,功效 = Φ(2.44−1.96) ≈ 68%。12% 与 68% 的差,就是「膨胀量」的直接读数:复现失败率高,主要说明原始效应量被高估了,不能直接说明原始研究是假的。
【极难发现】由此得到一个反直觉的盲点:【复现率是原始研究膨胀量的函数,不是领域诚信度的函数】。一个只研究巨大真实效应的领域(某些药物疗效、某些物理常数)天然会有高复现率;一个研究小而真实效应的领域天然低——即使两边造假率都是零。所以把不同领域的复现率放进同一张排行榜,比的其实是【效应量分布】,不是【研究质量】。
【可执行】三个动作:① 用【SESOI(最小兴趣效应量)】设计功效,不要用观察到的效应量反推——后者是把噪声当信号再放大一次;② 预注册全部分析路径(不是只注册主假设),把「花园小径」的条数变成可审计的量;③ 做 meta 分析时,若不做选择校正(p-curve、PET-PEESE、z-curve),你加权平均的其实是【次序统计量】,不是效应量。
【引文分析的接口】二次文献会继承这次膨胀:一篇综述引用 0.63,后来的研究再引用这篇综述的 0.63,膨胀就被洗成了「既有共识」。这正是【被引次数不等于检验次数】的机制层解释——引用传播的是数字,不是那次抽样。
【留给你的问题】如果明天所有原始研究都预注册并公开全部分析路径,你预测领域层面的复现率会上升还是下降?我的答案:发表出来的效应量会下降,而复现率会上升。这两个方向相反的变化同时发生,恰恰说明复现率单独拿出来不能当质量指标——你怎么反驳?




0 評論