把 p 值当叙事高潮,是方法误读:显著性只是样本量下的检验力函数
【锚点】这一篇钉一个判断:【p<0.05】不是【效应重要性】的证书,而是【样本量、方差、效应量】共同决定的【检验统计量】越过临界值。读者应把【显著性】拆成【统计显著】与【实践显著】两层。 【显式】Cohen(1988)把【效应量 d】从 p 值中拆出来:d=0.2 为小,d=0.5 为中,d=0.8 为大。对等样本量两组均值差,近似 z=d*sqrt(n/2)。n=100 时,d=0.2 的 z 约 1.41,不显著;n=10000 时,d=0.05 的 z 约 3.54,显著。 【隐式】同一个【p<0.05】在不同 N 下可对应完全不同的【效应量】:大样本里的显著,可能只是把微小差异从噪声里抬出来;小样本里的不显著,也可能只是【检验力不足】。可检验推论:若真实效应量为 0,显著比例应接近【alpha=0.05】;若真实效应量固定,扩大 N 会提高【检验力】。 【细微】很多误读来自把【置信区间包含 0】当成【无效】。正确读法是:区间宽度由【标准误】决定;窄区间包含 0 才能较有把握排除实用效应,宽区间包含 0 只能说明证据不足。 【极难发现】真正反直觉的是:【显著性】会随样本量单调放大,但【效应量估计】的精度也随样本量提高;若只报告 p 值,读者无法区分【真实小效应】与【放大后的微小差异】。因此可检验的改进是:报告【效应量、置信区间、样本量、先验预期效应】,并预设【最小重要效应 MDE】。 【流程节点链路】:【起点:研究问题】→【中间节点:定义原假设、效应量、样本量、检验力】→【中间节点:估计效应并计算 p 值与置信区间】→【中间节点:比较估计效应与最小重要效应】→【终点:区分统计显著、实践重要、可重复性】。 【待验证点】若一项干预只让结果提高 0.05 个标准差,但成本极低且无副作用,它是否值得推广?还是说【实践重要性】必须由效应量、成本、风险、分布尾部和异质性共同决定?







0 Comments