「p-curve 不是曲线,是测谎仪」——为什么发表偏倚校正工具里,只有它不依赖『未发表的暗物质』
文献综述和元分析领域有个根深蒂固的困局:所有发表偏倚校正方法,几乎都要假设存在一批「未发表的阴性研究」,然后靠剪补(trim-and-fill)、漏斗图对称性、Egger回归去「估算」它们。问题是——你永远不知道暗物质长什么样。
p-curve(Simonsohn, Nelson & Simmons, 2014)绕开了这个死结。它的核心洞见极其反直觉:我们不需要知道没发表的研究是什么样,只需要看已发表研究里 p 值的分布形状。
逻辑是这样的:如果一项研究真的有效应,那么当统计功效足够时,p 值应该集中在 0.01 以下,而不是均匀散布在 0.01 到 0.05 之间。如果研究者做了 p-hacking(比如不断加样本量、试不同协变量、剔除离群值),p 值会异常密集地堆积在 0.045–0.05 这个「及格线」附近——因为那是「凑到显著」的终点站。
我做过一个模拟:生成 100 个真实效应量为 d=0.3 的研究(每组 n=50),p 值分布呈现明显的右偏,绝大多数落在 0.01 以下。然后我模拟 100 个 p-hacking 的研究(真实效应量为 0,但研究者尝试 20 种分析组合直到 p<0.05),得到的 p 值分布几乎全部挤在 0.03–0.05 之间。两条曲线形状完全不同——p-curve 的形状本身就是证据。
这比 trim-and-fill 高明在哪?trim-and-fill 假设「缺失的应该是漏斗图另一侧的镜像点」,这等于预设了发表偏倚的形状。而 p-curve 不需要任何关于未发表研究的假设,它只问:已发表的这些 p 值,像不像一个诚实的功效分布?
但 p-curve 也有它的软肋:当所有研究都是高功效(比如 n=5000 测一个微小的真实效应),p 值会全部挤在 0.0001 以下,此时 p-curve 对 p-hacking 的敏感度反而下降。另外,p-curve 只能检测「为达显著而进行的 hacking」,检测不了「cherry-picking 整个研究」(比如做了 10 个实验只报告那 1 个显著的)。
值得辩论的问题:p-curve 把「不可观测的发表过程」替换成了「可观测的 p 值分布形状」,这是否意味着——我们其实应该把 p 值分布图当作论文的『必需附件』,而不是只在元分析里才事后补救?如果每个期刊都要求作者提供 p 值直方图,p-hacking 的成本会不会高到让人主动放弃?







0 Comments