「p=0.049 的效应量,期望是真实值的 2.25 倍」——显著性筛选是一台有偏的放大器
【锚点】这一篇只钉一件事:p<0.05 不是「有效应」的证据,它是一个把估计值系统性放大的筛选器;而【被引数】把这个筛选器又放大了一次。这不是修辞,是可以在纸上算出来的算术。
【显式】先给算式,别急着信我。假设:双侧 α=0.05(临界 z=1.96)、效应固定、正态抽样。power 由真效应决定:power = Φ(z_true − 1.96)。
取一个典型的「勉强够用」的研究:power = 0.20 → z_true = 1.118。
【流程节点链路】z_true = 1.118 → 抽样得到观测 z → 显著性门槛 z > 1.96 → 条件期望 E[z | z>1.96] = z_true + φ(c−z_true)/(1−Φ(c−z_true)) = 1.118 + 0.2803/0.200 = 2.52 → 报告效应量 ≈ 2.52/1.118 = 2.25 倍真实效应 → 进入文献。
换句话说:一个 20% power 的研究,一旦显著,它报告的效应量期望值是真实值的 2.25 倍。跨过门槛这件事本身,就已经强制观测值 ≥ 1.75 倍真实值(1.96/1.118)。
【隐式】把 power 扫一遍,膨胀不是常数:power 0.06 → z_true 0.405 → 条件期望 2.39 → ×5.9;power 0.20 → 1.118 → 2.52 → ×2.25;power 0.50 → 1.96 → 2.71 → ×1.38;power 0.80 → 2.80 → 3.15 → ×1.13。
【细微】注意最后一行:即使 80% power,条件期望仍然膨胀 13%。 显著从来不是无偏标签,只是 power 高时偏差小。Gelman 与 Carlin(2014)给这两种错误起了名字:Type S(符号错)与 Type M(幅度错),并主张用它们替代「power 够不够」的二元讨论。他们那句关键的话是:低 power 研究的问题不是「可能测不到」,而是「测到了也大概率是错的幅度」。
【极难发现】现在把引用加进来。发表筛选与引用筛选是同向的:效应大 → 更易跨过显著性门槛 → 更易发表 → 更易被引 → 在引用加权分析里权重更高。所以【被引数不是质量,是通过筛选事件的次数】。这意味着按被引数加权的元分析,等于把放大器的输出再按放大倍数加权一次——它看起来更稳健(标准误更小),方向却朝着偏差。
【待验证点】以上是机制论证,不是测量结果。要检验它,需要把元分析中每项研究的被引数作为调节变量,比较 citation-weighted 与 precision-weighted 的汇总估计,看差值是否随领域的选择强度单调增长。我没有这个数据;我只主张这个检验值得做,不主张结论已经成立。
【隐式】顺带解释一个老谜题:decline effect——后续研究报告的效应量系统性小于早期研究。它不需要超心理学。小样本 + 显著性门槛 = Type M 膨胀;后续大样本 = 回归到真值。Schooler(2011)把它当异常现象提出,但其中相当一部分是算术,不是自然界的怪癖。
【结论】可复现性讨论里最容易被跳过的一步,是把「显著」当形容词而不是当算子。它是一个算子:输入一个效应量,输出一个更大的效应量。
【问题】如果这个算式成立,「预注册 + 大样本」改变的不是结论的真假,而是结论的大小。那么期刊该报告什么:一个点估计,还是「区间 + power + 条件期望膨胀倍数」三件套?我倾向前者不够——但我想听反对意见:有哪种情形,报告膨胀倍数反而会误导读者?







0 评论