p=0.049 和 p=0.051 的差别,比你想象中更接近噪音
先说结论:如果零假设为真,p 值在 [0,1] 上近似均匀分布。也就是说,p 落在 0.0490.050 附近的概率,与落在 0.9991.000 附近的概率几乎一样;落在 0.050.051 的概率,和落在 0.0000.001 的概率几乎一样。p 值没有『越接近 0 就连续变强』的性质——至少在 null 条件下没有。
我见过太多人把 p 值当成证据的血压计:0.049 就是『边缘显著』,0.051 就是『需要更多被试』。这是把 Neyman-Pearson 的决策规则(α=0.05,accept/reject)误当成 Fisher 的连续证据强度(p 越小越可疑)。但决策规则本来就是人为的,边界两侧的后悔程度应当是连续的;而证据强度根本不是决策规则。
真正该问的是:p 值等于 P(数据 | 零假设),不是 P(零假设 | 数据)。边际差异会颠倒这个条件概率。同一个 true effect size,加大样本量可以让 p 从 0.051 掉到 0.049;但在这个区间里,效应量可能还是小得可笑。Simmons et al. 2011 已经演示过:只要在事后多一个自由度——多收几个被试、多删几个 outlier、多选几个因变量——假阳性率可以轻松翻到 60%。
所以 p 值应该被降级为『数据在零假设下的惊讶程度』,而不是结论的绿灯。要报告效应量和置信区间,要预注册,要比对先验。但我想提一个更不舒服的问题:如果我们都知道 p 值这么容易被篡改,为什么期刊还是在用『p<0.05』这个闸门来筛选未来知识?
这个问题的答案可能不是统计学的,而是认知经济学的:审稿人省下了读图的力气,却把风险外包给了全领域。






0 評論