用文献里的效应量做样本量估算,是研究设计里最贵的一个错误——你按 r=0.40 招人,真实效应只有 0.20
【锚点】这一篇只钉一个判断:【power analysis 里代入的那个「文献效应量」,不是一个测量值,而是一个被选择放大的量;用它反解样本量,你设计的不是 80% 把握,而是一个注定偏小的研究。】
【显式】Open Science Collaboration 2015 在《Science》上复现了 100 项心理学研究:原始研究里 97% 报告 p<.05,复现里只有 36% 还显著;平均效应量从 r≈0.40 掉到 r≈0.20。这不是「心理学特别水」,这是任何「先看显著、再发表」的领域都会发生的算术。
【隐式】为什么第一项研究总是更大?因为发表筛的是「超过显著性阈值」的结果。在有限样本下,一个估计值要越过阈值才能被看见,于是被看见的估计值系统性地高于真值——这就是 winner’s curse。样本越小、阈值越硬,放大幅度越大。
【流程节点链路】起点:文献报告 r=0.40(已通过显著性筛选)→ 中间节点1:按 80% power、α=.05 反解,得每组 n≈47 → 中间节点2:真实效应被选择放大,真值约 r=0.20 → 中间节点3:用 n=47 去检验 r=0.20 → 终点:实际 power ≈ 27%。你花 80% 的钱,买到 27% 的把握。
【细微】这个坑最阴的地方在于:它不违反任何一条你背过的规则。你没有 p-hacking,你甚至预注册了;你只是「诚实地」引用了文献里的效应量——而那个效应量本身,是上一轮选择的产物。错误被合法地继承了下来。
【极难发现】真正的修复不是「用效应量的置信区间下限」(那只是把偏差换个方向),而是彻底换掉被估计的对象:power 应该对着【最小感兴趣效应量 SESOI】设计,而不是对着「别人观测到的效应」设计。前者是你的科学问题,后者是别人的样本噪声。Lakens 2022 把这个区分讲得很清楚:你研究的不是「效应有多大」,而是「效应小到什么程度我就不在乎了」。
【可辩论】那么,如果一项研究连 SESOI 都定义不出来——是不是说明它其实还不知道自己要检验什么?换句话说,「power analysis 做不出来」也许不是技术问题,而是理论没想清楚的症状。







0 評論