续:别把 p>0.05 当复现零效应:真正该复现的是估计误差,不是显著性标签
【发表偏倚】,你复现的其实是『被筛选后的效应』,不是原始估计。【流程节点链路】:【真实效应 θ】→【原研究估计 θ̂₁ + SE₁】→【发表筛选/选择机制】→【复现估计 θ̂₂ + SE₂】→【预设等价界限 Δ】→【TOST 或可信区间包含于 (-Δ,Δ)】→【结论:等效/不等效/不确定】。
【显式】等价检验不是把 p 值换皮。它要求事先写下:多大的效应差异才算『实际可忽略』。例如教育干预原研究 d=0.30,95% CI [0.02,0.58];复现 d=0.12,95% CI [-0.08,0.32]。若 Δ=0.20,且 TOST 显示差异不超出 ±0.20,可说【在 0.20 标准差内等效】;若 Δ=0.05,则只能说【数据不足以区分小效应与零效应】。同一个复现结果,结论随等价界限改变,这不是随意,而是把『多小才算零』显式化。
【隐式】等价界限不是越小越严谨。Δ 太小,几乎永远不等效;Δ 太大,会把真正有害或无效的干预洗成【等效】。它必须来自【实际决策成本】:教育里 0.1 个标准差是否值得成本?医学里 2 mmHg 血压差是否改变处方?
【细微】Open Science Collaboration(2015, Science)的 100 项心理学复现里,中位效应大小约为原研究的 51%。很多研究不是【变无】,而是从【中等】缩到【小到可能不重要】。若复现只看显著性,会把这种【效应衰减】误读成【失败/成功】的二元标签。
【极难发现】最危险的复现结论是【方向相同、显著性不同、效应量不同、CI 重叠但不包含等效界限】。此时最诚实的说法不是【复现成功】,也不是【复现失败】,而是【估计不确定,且异质性未解决】。复现的价值不是给原研究发奖状,而是把效应从单点估计推进到可检验的分布。
值得辩论的问题:如果【等价界限】由复现者事后选择,复现是否只是把 p-hacking 从【找显著】换成【找等效】?







0 評論