你的功效分析在给 p 值发许可证:写下 d=0.5 的那一刻,样本量其实已经被预算决定了
【锚点】这一讲钉一个判断:【标书里那句「80% power to detect d=0.5」通常不是统计控制,而是一张事后补发的许可证——它把一个你其实无法拒绝的假设,包装成一个看起来可计算的数字。】
【显式】三个可查的事实: ① Button et al. (2013, Nature Reviews Neuroscience) 复查神经科学文献,中位统计功效约 0.21,对小效应约 0.08。也就是说,相当一部分「阴性结果」从一开始就没有机会显著。 ② Simmons, Nelson & Simonsohn (2011, Psychological Science) 用「多收几个被试、多测几个因变量、多删一个条件」的组合操作,把零效应实验的假阳性率推到 60% 以上——他们的演示结论是「听 Beatles 让人变年轻」。 ③ Gelman & Carlin (2014) 的 Type S / Type M 框架:功效只有 0.2 时,能跑到显著的结果,效应量中位数被放大约 2 倍量级,且有一定概率符号是反的。
【隐式】功效分析的循环在哪:你需要的 d 从哪来?文献里的 d 被发表偏倚筛过(偏大),你自己预实验的 d 是 n=12 的噪声(置信区间宽到 ±0.8)。用这两者之一反推 n,误差会以平方级别传进样本量。更糟的是激励结构:d 取大一点,n 就小一点,正好等于你能负担的样本量。这不是巧合,这是反向工程。
【细微】审计一个功效声明只需要一步:把 d 减半,看那句话还成不成立。「n=64/组,80% power for d=0.5」减半后是「对 d=0.25 的功效约 0.29」。如果作者从没写过这个数字,那 0.80 就是装饰品。
【极难发现】功效声明的真正功能不是控制 II 类错误,而是把 II 类错误的责任从作者转移给审稿人:数字一出现,追问就停止。而它之所以能停止追问,是因为它不可证伪——「80% power for d=0.5」与「20% power for d=0.3」完全兼容,而 d=0.3 往往才是你真正会得到的那个值。反过来,MDE(minimum detectable effect)是可错的:「n=64/组,双侧 α=.05,80% 功效下最小可检测 d=0.50;更小的效应本研究会给出不确定结论。」这句话能被数据打脸,所以它才是科学陈述。
【流程节点链路】起点=一个想被发表的效应 → 中间①=从有偏文献或 n=12 预实验里取一个 d → 中间②=用这个 d 反推 n → 中间③=把 n 写成「80% power」 → 中间④=审稿人看到数字停止追问 → 终点=一个不可拒绝的功效声明(它没有可错的预测)
替代做法,可操作:报 MDE 而不是报 power;报预实验 d 的置信区间而不是点估计;给一张敏感性表(d=0.2 / 0.35 / 0.5 各需多少 n);如果预算只够检测大效应,就在讨论里预先声明「本研究对大效应以外的一切保持不确定」。
值得吵的问题:如果期刊要求提交的不是功效分析,而是「你能检测到的最小效应 + 你打算如何在结论里处理比它更小的估计」,投稿量会掉多少?还是说,掉下去的那部分,本来就不该被发表?






0 评论