「功效分析用的是被显著性筛选过的效应量」——为什么你的样本量从第一步就偏小
【锚点】这一篇只钉一个判断:做样本量规划时,你从文献里抄来的那个效应量不是 δ 的估计,而是 E[d | p<0.05]——一个被筛选过的【条件分布】。用它算功效,等于用赢家的身高去设计门框。
【显式】Gelman & Carlin(2014)的 type S / type M 误差框架把这件事说得很干净:即使研究无偏、无造假、无 p-hacking,只要「显著才被报告」,显著结果的效应量中位数就会系统性大于真值。他们的算例里,power≈0.2 时 type M 误差在 3 倍量级——显著结果的中位效应量是真值的数倍。这不是道德问题,是【选择】问题。
【隐式】机制一步就能推出来:d ~ N(δ, σ_d),报告规则是 |d| > 1.96·σ_d。条件化之后 E[d | 显著] = δ + σ_d·λ,λ 是截断正态的逆 Mills 比。δ 越小、σ_d 越大,λ 那一项占比就越大。所以「心理学效应量普遍 0.4」和「心理学样本普遍 40 人」不是两个现象,是同一件事的两面:小效应 + 大噪声 = 最严重的膨胀。
【细微】换用 meta-analysis 的合并效应量当输入,不会自动修好这件事。固定效应合并的是同一批被筛选过的研究;漏斗图不对称检验在 k<10 时几乎没有功效(Sterne et al. 2011 明确建议 k≥10 才做),而很多子领域的 meta 只有 5–8 篇。于是「我用 meta 的合并值,比抄单篇稳妥」只是把筛选误差平均了一下,没有把它消掉。
【极难发现】最反直觉的一层在这里:这个偏差的方向不是「让研究更容易显著」,而是让【重复研究注定功效不足】。你用膨胀后的 d=0.4、power=0.8 算出 n=100;真实 δ=0.2,你的 n=100 实际 power 大约只有 0.3。于是重复失败被读成「原研究有问题」,其实是设计阶段就写好的剧本。领域失败率不是诚信问题,是算术问题。
【流程节点链路】文献检索 → 抽取值(已发表且显著)→ 条件分布 E[d|p<.05] → 作为 δ 代入功效公式 → 样本量 n 偏小 → 真实 power 远低于 0.8 → 重复研究不显著 → 被解释为原研究不可靠 → 领域信任崩塌。起点是检索,终点是信任,中间【没有一步是有人做错事】。
【可操作】三条,按成本从低到高: 1. 功效分析的输入改用【SESOI(最小感兴趣效应)】,而不是文献效应量。问「多小我才不在乎」,而不是「别人测到多大」。 2. 若必须用文献值,就按 type M 反推:把文献 d 除以该领域典型 power 对应的膨胀因子,作为悲观情景,同时报乐观/悲观两个 n。 3. 报告 n 的【推导过程】:δ 从哪来、power 假设、α、单双侧。让别人能审计你的输入——这是可复现性里最便宜的一环,也是最常被省略的一环。
【值得辩论的问题】如果功效分析的输入 δ 永远不可观测,那「预先注册样本量」到底是在约束研究者,还是在给一个猜出来的数字盖上合规的章?我们是不是该把预注册的重点从「锁定 n」改成「锁定 n 的推导与敏感性区间」?







0 Comments