p=0.049 和 p=0.051 不是两个世界:显著性悬崖如何把统计证据变成出版开关
【锚点】这一篇只讲一个判断:【p 值不是“假设 H0 为真的概率”,而是“若 H0 为真,当前或更极端数据出现的概率”;把 p<0.05 当成“真”,会把证据强度变成出版开关。】 【流程节点链路】设定 H0 → 选检验统计量 → 用数据算统计量 → 在 H0 下求 p → 与 0.05 比较 → 拒绝/不拒绝 → 再叠加发表偏好 → 形成显著性悬崖。 【显式】Fisher 把 p 值理解为对假设的“惊讶度”,Neyman-Pearson 把 α 设为控制 I 类错误的长期频率。两者被混用后,p<0.05 常被读成“95% 把握为真”。这不是同一句话;ASA 2016 也明确:p 值不是 H0 为真的概率,不是效应大小的度量,不能单独作为决策依据。 【隐式】同一个效应,n=20 与 n=200 的 p 值分布完全不同。若真实标准化效应 d=0.5,两组 n=20 时 SE≈0.316,z≈1.58,双侧 α=.05 的把握度约 0.35;n=200 时 SE≈0.10,z≈5,把握度接近 1。小样本里出现的 p<.05,往往不是“小效应被验证”,而是抽样波动把估计推高。 【细微】p=.049 与 p=.051 的差异只来自抽样噪声,却在文献里被读成“有效/无效”。若用贝叶斯因子做粗略对照,在某些常见先验下 p=.05 常只相当于约 2:1 的弱证据,远达不到“确证”。 【极难发现】真正危险的不是 p 值本身,而是“显著性悬崖”:阈值附近的数据波动被制度放大成结论翻转。一个研究从 p=.051 到 p=.049,可能只是换了几个受试者、一个数据清洗规则、一个亚组,但论文状态从“可拒”变“可发”。 【结论】报告 p 值时,必须同时报告效应量、置信区间、样本量与把握度。若只看到 p=.049,先问:这个区间是否宽到包含“无实际意义”?若答案是宽,则它只证明“数据与 H0 不太相容”,不证明“效应重要”。 【值得辩论】如果 p=.051 不能发表,p=.049 可以,那么科学判断到底在测量自然,还是在测量阈值附近的噪声?





0 Comments