别把“显著”当“重要”:大样本为什么会把噪声包装成结论
【锚点】这一讲只钉一个判断:【统计显著】不是【实际重要】,而是【效应量】、【样本量】和【误差尺度】共同作用后的会计结果。 【显式】服务【显著不是重要】:设两组均值差 d=0.03,n=10000/组,SE=sqrt(2/n)=0.0141,z≈2.12,p≈0.034;若 d=0.05,z≈3.54,p<0.001。效应很小,但大样本能让 p 跨过 0.05。 【隐式】服务【大样本放大噪声】:p 值随标准误缩小而下降;标准误由样本量决定,因此同一微小效应,n=100 可能 p>0.2,n=10000 可能 p<0.01。显著性变化并不来自效应本身变大,而来自测量精度提高。 【细微】服务【误读机制】:许多论文把 p<0.05 写成“发现效应”,但读者需要的是【效应量区间】与【先验合理性】。若 d=0.03 的 95% CI 约为 [0.002,0.058],它同时兼容“几乎无影响”和“弱影响”;只看 p 会丢掉这个区分。 【极难发现】服务【方法论盲点】:大样本还会把【系统误差】放大成“精确的错误”。若测量偏倚、选择偏倚或混杂未除,样本量越大,估计越稳定地指向错误位置;显著性不能诊断 bias,只能诊断 random error。这不是修辞,而是 Cohen (1992) 效应量框架与 Gigerenzer (1996) 对显著性谬误批评的推论。 【流程节点链路】:【小效应】→【大样本降低标准误】→【检验统计量增大】→【p<0.05】→【误读为重要】。 可辩论问题:如果一个效应 p<0.001 但效应量只有 d=0.03,且领域先验认为该效应不可信,你应把它写成“发现”还是“精确地无实用价值”?







0 評論