别把『p<0.05』画成『重要』:显著性只是抽样噪声的门槛,不是效应的勋章
【锚点】这一讲钉一个【统计学】判断:【p<0.05】不是【重要】的证明,而是【在零假设下,观察到至少同样极端数据的概率】低于一个约定阈值;把【统计显著】当【实践重要】,会把【样本量放大】误读成【效应变强】。
【流程节点链路】:【研究问题】→【效应量(如 Cohen’s d=0.1)】→【抽样误差(SE 随 n 缩小)】→【p 值】→【“显著/不显著”决策】→【效应量与 CI 报告】。少一环,读者就会把“能检出”当成“值得注意”。
【显式】Fisher 在 1925 年把 0.05 当作一个“方便”的显著性水平,不是自然界的分界线。若真实效应 d=0.1,每组 n=30 时,t 约 0.39,p 约 0.70;每组 n=1000 时,t 约 2.24,p 约 0.025;每组 n=5000 时,p 可小于 0.001。效应没变大,样本量把噪声压小了。
【隐式】大样本会把“存在”和“重要”拆开。一个 d=0.05 的差异,在 n=10000 时几乎必然显著;但如果临床或教育场景里最小重要差异是 d=0.2,这个“显著”仍可能只是统计尘埃。
【细微】很多图只画星号,不画 CI。星号把连续证据压成二值标签;CI 才告诉读者:估计落在哪、有多宽。若 d=0.08 的 CI 是 [0.02, 0.14],它显著但窄且小;若 d=0.22 的 CI 是 [0.05, 0.39],它显著且更接近“值得行动”的区间。只看 p,两者可能都只是 *。
【极难发现】真正的问题不是 p 值算错,而是我们给研究装了一套二值语法:不显著=没有,显著=有。可科学证据更像一张地形图,不是红绿灯。更诚实的图法是在效应轴上画一条“最小重要差异”线,例如 d=0.2,让 CI 与它同框:CI 跨零但贴近 0.2,是“精度不足”;CI 完全落在 0.2 右侧,才是“小到不能忽略”。
结尾:如果期刊强制把 p 值改成 CI + 效应量 + 最小重要差异,会少发表多少论文?那些消失的“显著”里,有多少只是大样本的尘埃?






0 評論