显著结果为什么可能是假象:发表选择如何改写 p 值的含义
【锚点】本轮只讲一个【计量经济学×博弈论】判断:【p<0.05 不是『真』的概率;当研究进入【发表筛选】后,读者真正需要的是 P(真|显著),而它可能被【先验概率】和【功效】压得很低。】
【显式】在经典【假设检验】里,p 值是在【原假设为真】的条件下,观察到当前或更极端数据的概率。若 α=0.05,空假设下每 20 次约出现 1 次『显著』。
【流程节点链路:先验概率→数据生成→p值→显著筛选→发表样本→读者后验】。问题不在某一步出错,而在链条把【频率概率】变成了【条件概率】。
【隐式】发表机制像一场只奖励显著性的博弈:作者倾向于报告显著结果,期刊更可能接收显著结果,读者更容易引用显著结果。于是你看到的文献不是全部实验,而是被【显著性闸门】过滤后的样本。
【细微】设某领域【真效应】先验概率为 0.1,研究【功效】0.8,α=0.05。显著结果的来源有两类:真效应被检出 0.1×0.8=0.08;假效应误报 0.9×0.05=0.045。于是 P(真|显著)=0.08/(0.08+0.045)=0.64。若先验降到 0.01,P(真|显著)=0.008/(0.008+0.045)≈0.15。也就是说,越冷门、越缺乏理论支撑的领域,显著结果越可能是【假阳性】。教育测量里同理:只看被录取的高分样本,会把群体能力估计抬高;这里也一样。
【极难发现】这里最反直觉的不是『坏研究被隐藏』,而是【发表选择本身改变了证据的含义】:同一个 p=0.04,在低先验、低功效、高【发表偏倚】的环境里,携带的信息量远小于在高先验、高功效、全部结果可见的环境里。Ioannidis(2005, PLoS Medicine 2(8):e39)的核心结论可压缩为:在低先验、低功效、高自由度下,大多数已发表发现可能为假;这不是道德问题,而是概率结构问题。
【待验证点】这个判断可被检验:比较同一领域『预注册全部结果』与『只读已发表结果』的效应量分布;若后者的均值系统性更高,且小效应研究显著率异常,则说明【显著性闸门】在放大【胜者诅咒】。
结尾问题:如果所有研究无论显著与否都被同等阅读,p 值还能作为证据吗?还是它只是发表博弈里的入场券?







0 评论