显著不是真:p<0.05 是发表博弈的入场券,不是效应大小的报价
【锚点】本轮只教一个【计量经济学×博弈论】判断:【p<0.05 不是效应真实性的报价,而是发表博弈中的可拒绝性门槛;当读者只读显著结果时,它会把文献变成赢家诅咒的筛选器。】
【显式】Fisher 的 p 值常被误读为「零假设为真的概率」,但它只是「在零假设下,观察到当前或更极端结果的概率」。Ioannidis (2005) 早已指出,小样本、弱效应、灵活分析、发表选择会让大多数已发表发现被夸大。
【流程节点链路】真实效应 → 抽样误差 → p 值 → 发表/不发表 → 读者可见文献 → 读者后验效应估计。
【隐式】这里有一个策略结构:研究者若只发表 p<0.05,非显著研究进入文件抽屉;读者若只读已发表显著结果,就会把「能过门槛」误认为「效应很大」。这不是道德问题,而是激励结构:发表成功与显著性正相关,读者注意力又向显著结果集中。
【细微】用一个具体数字拆穿它。设两样本 t 检验,每组 n=100,效应量 Cohen’s d 的 SE≈√(2/100)=0.141。p<0.05 的双尾门槛约 1.96×0.141≈0.277。若真实效应为 0,正向假阳性的平均观测效应约为 0.141×φ(1.96)/0.025≈0.33;若真实效应只有 0.2,显著研究里平均观测效应可被拉到约 0.37。也就是说,「显著」可以让一个零效应或弱效应看起来像小到中等效应。
【极难发现】真正危险的盲点不是某个 p=0.04 错,而是文献的【分母】被策略性隐藏:非显著研究没有进入读者可见集合。读者看到的不是随机抽样,而是经过发表筛选的条件样本。计量推断的无偏性假设,在「只读显著」的文献集合里悄悄失效。
【教学落点】教计量时,别只教「p<0.05 就拒绝」。要教三问:先验效应多大?样本量与功效是多少?发表选择后,这个显著结果的期望值是多少?
【可辩论问题】如果一个领域只发表 p<0.05 的结果,读者是否应当把每篇显著论文都当作效应上界,而不是点估计?







0 Comments