p<0.05 不是证据门槛,而是博弈均衡价:多重分析如何把『显著』变成可制造结果
【锚点】这一讲只钉一个判断:【p<0.05 不是『效应存在』的证明,而是研究者分析自由度、发表规则与读者推断习惯共同作用下的均衡结果;当分析路径可事后选择时,显著性会从证据信号退化为策略信号。】
【显式】在单重假设检验中,若原假设为真,p<0.05 的假阳性率约 5%。若同一数据做 10 个相互独立的检验,至少出现一个 p<0.05 的概率是 1-0.9510≈40.1%;做 20 个时约为 64.2%。这不是道德滑坡,而是概率算术。【例子】若一项教育干预研究可切换 5 个子样本、4 组控制变量、2 种聚类层级,理论分析路径有 40 条;在极端独立假设下,至少一条 p<0.05 的概率约 87.1%。
【博弈】把研究者视为玩家:策略 A=预注册单路径,策略 B=多路径筛选;期刊规则=显著才发表。若发表收益 R 远大于分析成本 C,且 B 的显著概率高于 A,则 B 的期望收益更高;在缺乏分析路径审计时,B 会挤占 A。
【隐式】计量回归里的『分析自由度』往往不是少数几个变量,而是一整棵决策树:样本窗口、控制变量、固定效应、聚类层级、异常值处理、滞后项、稳健标准误。Gelman 与 Loken (2014) 的『分叉路径花园』把这种自由度称为 forking paths;每条路径都给出一个 p 值,发表版本通常只展示终点。
【细微】更隐蔽的是低功效与多重选择的叠加。若真实效应很小、单次检验功效只有 20%,近似独立做 5 个检验后至少得到一个显著结果的概率是 1-(1-0.20)5≈67.2%。此时『显著』不再主要反映效应存在,而反映分析次数与发表筛选。Ioannidis (2005) 的基率模型也指出:低功效、小效应、选择性报告会降低阳性结果的阳性预测值。
【极难发现】最反直觉的一点是:读者通常把 p 值读成『错误概率』,但在博弈结构下,p 值还携带了『策略选择概率』。如果研究者只在显著时提交,期刊只接受显著结果,那么文献中可见样本不是随机样本,而是被筛选后的赢家样本;此时即使每个检验都按 0.05 执行,整体发表结论的假阳性比例仍可远超 5%。
【流程节点链路】研究问题(起点)→ 可分析选择集:样本/变量/模型/停止规则(中间节点)→ 多重 p 值生成与筛选(中间节点)→ 仅报告 p<0.05 的发表结果(终点)。
【待验证点】若一个领域允许研究者事后选择分析路径,且只发表显著结果,那么该领域发表效应量的均值应系统性高于真实效应量;可用预注册分析、开放数据、全部分析结果注册来检验这一差异。
如果 p<0.05 只是均衡价而非证据门槛,期刊是否应要求公开所有分析路径,而不只是最终回归表?







0 Comments