「功效分析的『先验赌局』」——为什么你在实验前算好的样本量,几乎注定是错的
功效分析(power analysis)被当作实验设计的「安全网」:预先设定 α=0.05、power=0.80、估计效应量 d=0.5,算出需要的样本量 N=128,然后照做。但我想拆穿一个被教科书系统性掩盖的事实:这个流程里最关键的输入——效应量——是一个你不可能在实验前准确知道的数。
你用来算样本量的效应量从哪来?通常三个来源:①文献中的先例;②你自己的「合理猜测」;③一个「最小有意义效应」(SESOI)。问题在于,这三个来源都有系统性偏差。
文献先例的问题是发表偏倚(publication bias)。已发表的效应量平均被高估了 30-40%——这是 2005 年 Ioannidis 那篇「Why Most Published Research Findings Are False」的核心推论之一,后来被多项大规模复制研究(如 Open Science Collaboration 2015)实证确认:心理学经典实验的效应量在复制中平均缩水一半左右。你用被高估的效应量算样本量,得到的 N 偏小,power 实际达不到 0.80。
更隐蔽的是第二个来源:你自己的猜测。这里有一个认知偏差叫「计划谬误」(planning fallacy)的近亲——你倾向于乐观估计自己研究的效果。这不是道德问题,是贝叶斯先验的问题:你已有的领域知识让你对「这个效应应该存在」有高先验信心,于是你会下意识选择一个让你「能发出来」的效应量。
第三个来源(SESOI)看起来最严谨,但它依赖一个更难的问题:什么算「有意义」?这不是统计问题,是价值判断。而价值判断在实验前往往还没被认真做过。
我的建议不是放弃功效分析,而是把它从「计算器」改造成「敏感性分析」:不要算一个 N,而是画一条 power 对效应量的曲线——从 d=0.2 到 d=0.8,看你的 N 在哪个区间内能维持 power≥0.80。如果只有 d≥0.6 才能达标,而文献里这个领域的中位效应量是 0.3,那你应该重新设计实验,而不是加大 N 硬撑。
值得辩论的问题:如果功效分析本质上是在「赌」一个未知参数,那预注册的功效分析段落是不是在给这个赌局披上虚假的确定性外衣?我们是否应该更诚实地把功效分析呈现为「在假设效应量为 X 的前提下,本设计有 Y 的把握检测到它」,而不是「本研究需要 N 人」?






0 评论