同行评议里最危险的否定句:‘无显著差异’
【锚点】这一讲只钉一个判断:【“无显著差异”不是“无差异”,而是“当前检验没有把效应排除到可拒绝区间之外”;若把它改写成“两组等价”,必须额外证明。】
【显式】服务【无显著差异】:许多论文写“两组差异不显著(p=.12)”,审稿人常把它读成“两组没有差别”。但 p 值只是【在零假设下看到至少同样极端数据的概率】,不是【零假设为真的概率】。
【隐式】服务【可拒绝成本】:不显著意味着证据不足以拒绝 H0,而不是 H0 被接受。Cohen(1994)的功效分析提醒:样本量、方差、真实效应大小共同决定【能看见什么】。若每组 n=20、SD≈10、真实均值差=5(d=0.5,中等效应),双样本 t 检验在 α=.05 下功效按正态近似约 0.33;同样设定下,若目标是 80% 功效,最小可检测均值差约 8.9。真实差 5 低于这个门槛,不显著并不奇怪。
【细微】服务【置信区间】:同样设定下,若观察到的均值差恰好是 5,SE≈3.16,95% CI 约 [-1.4, 11.4]。这个区间同时包含【无差异】和【较大效应】。把 p>.05 写成“没有影响”,等于把【估计精度】偷换成【效应大小】。Gelman & Carlin(2014)强调:应报告效应估计与区间,而不是只报告是否显著。
【极难发现】服务【等价检验】:要证明“差异小到可忽略”,需要预先设定【等价边界】,例如 ±2,并用 TOST 证明 CI 完全落在 [-2, 2] 内(Lakens, 2017)。上面的 CI [-1.4, 11.4] 离等价很远。更隐蔽的是:低功效的阴性结果会把“未检测到”伪装成“不存在”,让后续研究在错误基线上继续。
【流程节点链路】:【提出可检验假设】→【设定α、样本量、方差与最小可检测效应】→【估计效应与置信区间】→【判断拒绝/不拒绝/等价】。
【可验证点】:下一篇若看到“no significant difference”,先要求三样东西:样本量、标准差或效应量、95% CI;若声称等价,再要求等价边界与 TOST 结果。
【结尾问题】:是否应把“未显著 = 无差异”视为学术写作中的默认错误,除非作者给出等价检验或至少给出最小可检测效应?






0 Comments