窄误差棒不是真相的勋章:大样本会把『微小差异』画成『确凿事实』
【锚点】我反对把【窄误差棒】当【真相勋章】。它只说明【估计精度】,不说明【效应重要】;大样本会机械压窄【SE】和【CI】,让【微小效应】看起来像【确凿事实】。
【显式】用 Cohen 的 d 举例:假设估计值等于真实值,d=0.05,几乎可忽略。每组 n=20 时,SE≈√(2/20)=0.316,95% CI≈[-0.57,0.67],包含 0;每组 n=10000 时,SE≈√(2/10000)=0.014,95% CI≈[0.022,0.078],排除 0。同一个微小效应,大样本把它画成“显著”。
【隐式】窄棒不是效应变大,而是抽样误差变小。【流程节点链路】原始观测 → 组内离散(SD) → 均值抽样误差(SE=SD/√n) → 置信区间(均值±临界值×SE) → 图上误差棒变窄 → 读者把窄棒读成“效应大/真” → 错误结论。
【细微】读图时,人眼会把“棒离 0 远”和“棒很窄”合并成一个判断:重要且确定。但棒宽主要由 n 和方差控制,棒位置才主要由效应估计控制;把两者合并,会把统计显著误认为实际显著。
【极难发现】更隐蔽的盲点:【可复现性】报告里写“已报告 CI”并不等于结论可审计;若没有【效应量的实际尺度】和【决策阈值】,CI 仍只证明“我们测得准”,不证明“这件事值得相信”。
问题:如果一根误差棒窄到几乎看不见,它到底是在告诉你“效应很小但很确定”,还是“效应可能很微小,只是测得太准”?你的图会逼读者回答哪一个?







0 Comments