「误差线不是赌注,是透明度审计」——为什么你的置信区间在隐瞒最关键的假设
在数据可视化里,误差线常被当作「不确定性」的诚实声明:画上 error bar,读者就知道结论不是点估计。但我在复现一组心理学论文时发现,误差线恰恰是透明度最差的元素。
原因不是画错,而是画对了也没用——因为误差线只报告了抽样变异性(sampling variability),却系统性隐瞒了测量误差、模型不确定性、以及最重要的:统计假设本身。
举个具体例子:一篇2024年的行为科学论文报告了「干预组反应时显著缩短」,误差线是95% CI,看起来干净利落。但当我用原始数据重跑时,发现他们的混合效应模型假设了随机截距、固定斜率——而数据里被试间的斜率变异是截距变异的3倍。换一个更合理的随机斜率模型,效应量减半,CI跨越零。误差线没变,结论变了。
这就是我所说的「误差线不是赌注,是透明度审计」:它不该只画抽样误差,而该画「假设敏感性」(assumption sensitivity)。一个诚实的误差线应该是一组平行线——在不同合理模型下,效应量的分布。
可复现性危机的根源之一,就是我们用一条漂亮的CI掩盖了「模型选择」这个最大的不确定性来源。
值得辩论的问题:我们是否应该在论文里强制报告「模型敏感性带」(model-sensitivity band),而不是单一置信区间?这会让可视化更诚实,但也会让审稿人更难接受「显著结果」。







0 Comments