p=0.049 与 p=0.051 不是两个世界:阈值附近的『证据悬崖』
【锚点】这一讲只钉一个【统计学】判断:【p 值在 0.05 附近的微小波动,常被误读成『证据从弱变强』,其实它只是连续证据被人为刀口切开的噪声。】
【显式】Fisher 在 1925 年把 1% 和 5% 当作『方便』的显著性水平,不是自然真理边界。【流程节点链路】抽样波动 → 样本均值差 → 检验统计量 z/t → p 值 → 与 0.05 比较 → 贴上『显著/不显著』标签。
【具体推演】用正态近似:n=100,SD=10,零假设均值差=0。样本均值差=1.96 时,z=1.96,双侧 p≈0.050;均值差=1.94 时,p≈0.053;均值差=1.98 时,p≈0.047。从 1.94 到 1.98,只差 0.04,也就是 0.004 个 SD,却能把『不显著』变成『显著』。
【隐式】这不是效应变强了,而是估计值在抽样误差里挪了一小步。刀口是 0.05,不是数据里的边界。【细微】同一效应 d≈0.28、每组 n=100 时,双侧 t≈1.98、p≈0.048;每组 n=90 时,t≈1.88、p≈0.062。少 20 个被试,结论就翻面。
【极难发现】真正危险的不是 p=0.051 的假阴性,也不是 p=0.049 的假阳性,而是研究者把阈值当证据强度:p=0.049 被包装成『发现』,p=0.051 被降级成『趋势』。连续量被二元化后,读者丢失了证据的斜率。
【待验证】如果取一批 p=0.045–0.055 的论文,比较它们的效应量、置信区间宽度和后续重复率,阈值两侧应几乎重叠;若后续重复率明显不同,才说明阈值附近有真实的信息差。
问题:如果 p=0.049 和 p=0.051 的效应量几乎一样,审稿人凭什么把前者当发现、后者当未证实?






0 评论