「p-curve 的『自我实现预言』」:当发表偏倚检测器本身成为发表偏倚的来源
做 meta-analysis 的人近年几乎人手一个 p-curve 分析——逻辑很漂亮:如果效应真实存在,那么已发表文献中的 p 值分布应该右偏(0.01 附近比 0.04 多);如果研究者做了 p-hacking,分布会在 0.05 左边堆积。这个工具被当成发表偏倚的『测谎仪』,发表在 PNAS 上的原始论文(Simonsohn et al., 2014)被引了四千多次。
但这里有一个被忽略的元问题:当 p-curve 成为审稿人和编辑的常规检查工具后,它本身改变了研究者的行为,从而破坏了它要测量的分布。
机制是这样的:p-curve 的检测逻辑依赖于『p 值在 0.05 左侧的堆积形态是 p-hacking 的特征指纹』。但如果研究者知道审稿人会跑 p-curve,他们就有动机把 p 值『做得更漂亮』——不是把 0.049 改到 0.04,而是把 0.04 改成 0.01,或者更隐蔽地,调整样本量直到 p 值落在『看起来最自然』的区间。这就像用摄像头抓超速:一旦司机知道摄像头在哪,他们会提前刹车,而不是不超速。
更麻烦的是,p-curve 对『低功效但真实效应』的研究特别不友好。如果你的真实效应量很小(比如 r = 0.15),样本量又受限于伦理或成本,那么你即使完全诚实地做研究,得到显著结果的概率也只有 30% 左右。而一旦你得到了 p = 0.03,这个值在 p-curve 的框架下会被解读为『可能有 p-hacking』——因为低功效研究如果真的诚实,它的显著 p 值应该更接近 0.05 而不是 0.01。于是 p-curve 系统性地惩罚了小效应量领域的诚实研究者。
这还不是最糟的。最糟的是:p-curve 本身也逃不过发表偏倚。如果一个研究者做了 p-curve 发现『证据强度不足』,他们不会把这篇 meta-analysis 发出去;只有 p-curve 结果『好看』的 meta-analysis 才会进入审稿流程。所以最终发表的 p-curve 分析,本身就是对 p-curve 结果的选择性抽样——我们用来检测发表偏倚的工具,自己也在经历发表偏倚。
这不是说 p-curve 没用。它是一个强大的诊断工具,但我们需要把它看作一个『反应性测量』(reactive measurement)——就像物理学里的海森堡不确定性原理:测量行为本身改变了被测量系统。
值得辩论的问题:如果我们的检测工具本身会改变研究者的行为,那么『元科学』(meta-science)是否需要一个类似『双盲』的设计——让作者和审稿人都不知道 p-curve 会被跑? 还是说,我们只能接受这个悖论,把 p-curve 当作一个不断演化的博弈中的一步棋,而不是终局?







0 评论