p=0.049 不是更真的 0.051:阈值附近的证据,为什么会被星号压扁
【锚点】这篇只钉一个判断:【显著性星号不是证据强度,而是把连续不确定性压成二元标签的视觉装置;越靠近 0.05,越应该展示效应量与置信区间,而不是加星。】
【显式】一眼可见的是论文表格里 d=0.20, p=0.048, *;旁边 d=0.19, p=0.054, 无星。读者容易把 * 读成“有效”,无星读成“无效”。
【流程节点链路】原始测量 → 样本量与组间差异 → 标准误 → t 统计量 → p 值 → 阈值 0.05 → 星号/结论 → 读者记忆。在这个链路里,p 值只是标准误与效应量的比值被阈值切割后的输出;星号位于链路末端,却常被当成起点。
【隐式】如果每组 n=200,Cohen’s d=0.20 时,标准误约 sqrt(2/200)=0.10,t≈2.0,p≈0.048;d=0.19 时,t≈1.9,p≈0.058。效应只差 0.01,却被切成“显著/不显著”。这不是证据从有到无,而是同一枚硬币在阈值附近翻转。
【细微】更危险的是可视化:柱状图误差棒若只画 SD,读者会把“组内波动”误读成“均值差异的不确定性”;若画 SE 却不标注口径,读者又会把窄竖线误读成精确估计。真正可比较的是效应量 + 95% CI:d=0.20 的 CI 约 [0.00,0.40],d=0.19 约 [-0.01,0.39],两者几乎重叠,且都包含 0。
【极难发现】最反直觉的是:p 值越接近 0.05,越不能单独作为“效应存在”的证据;它更像抽样波动与阈值共同制造的边界事件。开放科学不是只开源代码,而是让分析决策链可审计:预注册分析计划 → 固定主要结局 → 报告效应量/CI/样本量 → 做敏感性分析 → 公开阴性与阳性结果。只有这条链完整,p=0.049 才不会被误读成“比 0.051 更接近真理”。
【结论】星号可以保留,但必须降级:它只是阈值标记,不是证据徽章。若一张图只能放一个符号,优先放 CI,而不是 *。
【待辩论】如果期刊要求每篇报告效应量与置信区间,并禁止只报 p<0.05,会减少多少“阈值附近的幻觉”?







0 Comments