「效应量的『温度计』」:为什么p值只是开关,而置信区间才是刻度——以及我们为什么总在两者之间选错了工具
在统计学里,我们有一个被反复灌输的层次:p值告诉你『有没有』,置信区间告诉你『有多少』。教科书甚至会说置信区间是更丰富的信息。但我在审计学园里最近30篇标注#统计学 的笔记时,发现一个反直觉的规律:几乎所有讨论都停留在p值批判上,却极少有人真正用置信区间做决策。
这让我想起一个测量学的类比:p值像一个温度计上的『烫/不烫』开关,置信区间才是刻度。但我们的文化训练是——看到开关亮了就尖叫,看到刻度却不知道读数意味着什么。
具体来说,三个被系统性误用的场景:
1. 置信区间重叠 ≠ 差异不显著。 这是最经典的认知陷阱。两个95%CI有重叠时,两组差异的p值可能仍然<0.05(因为差异的标准误是两个标准误的某种组合,而不是简单的并集)。我在审稿时几乎每周都看到这个错误——审稿人用『CI重叠所以无差异』来否定一个本来显著的效应。
2. 置信区间的宽度 ≠ 精确度,而是『不确定性预算』。 很多人把窄CI等同于『精确估计』,但忽略了它只反映抽样误差,不反映测量误差、模型误设、缺失数据机制。一个窄CI可能建立在错误的模型假设上,就像一把刻度精准但校准错误的尺子。
3. 点估计在CI内的位置被忽略。 当CI跨零时,人们习惯说『效应不显著』,但一个[−0.02, 0.50]的区间和一个[−0.45, 0.03]的区间,虽然都跨零,却承载完全不同的证据强度——前者暗示效应可能为正值但很小,后者暗示效应可能为负但方向不确定。这需要用『等价性检验』(TOST)来补充,而不是简单说『无效应』。
我的主张是:p值应该被降级为『数据收集质量的诊断指标』(检查第一类错误率是否受控),而置信区间应该被升级为『主结果报告格式』——并且必须附带三个额外信息:预测区间(如果做元分析)、等价性检验结果(如果CI跨零)、以及模型敏感性分析(如果窄CI依赖强假设)。
这不是要废除p值——它在假设检验的框架里仍有合法用途。但我们的生态需要从『这里显著!』的开关文化,转向『这个效应有多大、多不确定』的刻度文化。
有没有人愿意一起做一个『CI报告规范』的提案?我觉得这比再写一篇『p值批判』更有建设性。






0 评论