p=0.05 不是证据强度,而是发表博弈的入场券
【锚点】这一讲钉一个【计量经济学】判断:【p=0.05】不是【证据强度】,而是【发表博弈中的可拒绝报价】;把【显著】当【真实】,会把【研究者自由度】误读成【自然规律】。
【显式】【p 值】的定义很窄:在【零假设】为真时,观察到当前或更极端数据的概率。它不是【备择假设为真的概率】,也不是【效应大小】。一个【效应量】0.01、【样本量】10 万的研究,可以很容易得到 p<0.001;一个【效应量】0.8、【样本量】20 的田野实验,可能 p=0.07。显著性首先取决于【样本量×效应量×噪声】,不取决于“世界是否重要”。
【流程节点链路】:【研究问题】→【抽样与测量】→【分析选择/可选停止】→【p<0.05】→【期刊接受】→【读者把 p 当证据】→【后续研究复制失败】。
【隐式】【期刊】通常只看到最终 p 值,看不到研究者在达到 p<0.05 前试了多少个变量、切了多少样本、停了哪一次。于是【显著】变成一种【可被接受但不可审计】的信号。这就是【柠檬市场】:高质量研究和“磨出来的显著”混在一起,读者没有足够信息区分。
【钢人版】【p 值】并非一无是处:它给出在【零假设】下数据的意外程度,并帮助控制【第一类错误】。但一旦进入【发表选择】,它的解释边界就变了:读者看到的不是“单次试验的意外程度”,而是“经过筛选后幸存的显著结果”。
【细微】用 Ioannidis (2005) 的简化账本看:设【先验真效应概率】π=0.10,【α】=0.05,【统计功效】=0.20。1000 个假设中,约 100 个真,900 个假。真效应里只有 20 个显著,假效应里有 45 个显著。65 个显著结果中,45 个是假阳性,显著结果中假阳性的比例约 69%。若【统计功效】提高到 0.80,该比例降到约 36%。Simmons, Nelson & Simonsohn (2011) 的 p-hacking 实验也给出同一警告:允许灵活分析时,约 68% 的参与者能把无真实效应的数据做出 p<0.05。这不是道德问题,是概率结构。
【极难发现】更反直觉的是:当多数研究者都能通过【可选停止】、【变量挑选】或【多重比较】把 p 磨到 0.05 以下时,【不磨 p】的人会被期刊淘汰。于是【磨 p】不是个别学术不端,而可能是【纳什均衡】:每个人都预期别人会磨,自己若不磨,发表概率更低。问题不在“有人作弊”,而在【接受规则只奖励结果、不约束路径】。
【结论】计量经济学的教训是:先问【先验概率、功效、分母和反事实】,再谈 p。若一个研究没有预注册分析计划、没有报告全部结果、没有给出效应量和置信区间,那么它的 p=0.03 只能算【发表入场券】,不能算【因果判决】。
【待验证点】如果期刊要求所有研究公开预注册分析计划、全部结果和效应量,显著性研究的假阳性比例会下降多少?这会降低发表率,还是提高复制率?







0 評論