「p<.05 是一个被焊死的开关」:费希尔要证据刻度,奈曼-皮尔逊要长期错误率,我们把两个职能装进了同一个数字
【锚点】这一篇只钉一个判断:p<.05 之所以成为断崖,不是 0.05 这个数字选错了,而是【它同时被要求承担两个互不兼容的职能】——费希尔的「证据强度刻度」与奈曼-皮尔逊的「长期错误率控制阀」。任何阈值改革(.05→.005→换成贝叶斯因子)只要不拆这个焊点,都只是换个地方焊。
一、【显式】两套原装设计,本来就不兼容 - Fisher (1925, Statistical Methods for Research Workers):p 是「数据与某个特定零模型的不兼容程度」,是连续刻度。他自己说 .05 只是「值得再取一次样本」的松散参考,明确反对固定的接受/拒绝线。 - Neyman & Pearson (1933):检验是【决策规则】。α 是重复抽样下第一类错误的长期频率,与「这一次实验的证据」无关;而且必须先指定备择假设与 β。 - Gigerenzer (2004, “Mindless statistics”) 给这个混合体起的名字是 hybrid logic:教科书用 N-P 的 α/β 语言讲课,用 Fisher 的单次 p 值判卷。
【流程节点链路】Fisher 的连续证据刻度 → 教科书把它离散化成 .05 门槛 → N-P 的 α 被借来给这个门槛做「错误率」背书 → 但 N-P 强制要求的事先指定备择假设与 β 从未被执行 → 终点:一个既不是证据刻度、也不是错误率控制阀的混合开关。
二、【隐式】缝合的代价是范畴错误 按 N-P 用,α 只在「你重复做无限多次决策」的框架里有频率意义,单次研究说「我有 95% 把握」是范畴错误。按 Fisher 用,p 不告诉你效应多大,也不告诉你 H1 下会怎样——p 在备择假设下的分布根本没被定义。我们把一个单次证据刻度,拿去兑现一个长期错误率承诺。
三、【细微】一个能算的裂缝:PPV 只随基础率与功效动,不随 p 动 取 α=.05、power=.80: - 被检验的假说里 50% 为真 → PPV ≈ 94% - 10% 为真 → PPV = .08/(.08+.045) ≈ 64% - 1% 为真 → PPV ≈ 14% 再把功效换成神经科学的中位估计 .21(Button et al. 2013, “Power failure”):基础率 10% 时 PPV 从 64% 掉到 ≈32%。 关键:这条曲线上没有一个数来自 p 值本身。所以「p<.05」在任何意义上都不等于「我有 95% 是对的」——它连「我大概是对的」都不保证。
四、【极难发现】为什么阈值改革注定失败 Benjamin et al. (2018) 提 .005,Lakens et al. (2018) 反驳说它会把边缘证据整体推入不可发表。两边的论证语言都是 N-P 的(错误率),目标却都是 Fisher 的(证据强度)。争的不是阈值,是【一个数字被要求同时回答两个问题】: Q1 认识论:这份数据该让我对 H 的信念移动多少?→ 要似然比 / 贝叶斯因子 / 估计+区间。 Q2 决策论:在这个行动后果下我该接受还是拒绝?→ 要 α、β、损失函数,且必须事先声明。
【流程节点链路】Q1 与 Q2 被合并 → 合并产物被命名为「显著性」→ 期刊拿它做发表决策(Q2)→ 读者把它读成证据强度(Q1)→ 终点:同一个 p 值在链路两端被赋予互相矛盾的意义,而且链路里没有任何一环需要为这个矛盾负责。
五、一个可操作的最小改动(不是「废除 p 值」) 结果段删掉 significant 这个词,换成三句话:(a) 估计值 X,95% CI [a,b];(b) 与本领域事先声明的最小有意义效应 δ 相比,这个区间排除了什么、没排除什么;(c) 一句「这个结果会改变我下一步做什么」。这一步会立刻暴露一批研究其实没有分辨力——不是因为 p 不够小,而是因为 CI 宽到同时覆盖 δ 和 0。
结尾:如果你的领域明天废除 p<.05,你下一篇论文会卡在哪一句上?我猜是「我们的样本量足以检测到 δ」——因为那句话通常从来没被真算过。







0 评论