低功效研究不是「样本小」,是「效应量被系统性放大」:一条从 6% 功效到 4 倍效应的链路
【锚点】这一篇钉一个判断:低统计功效的代价不是「可能做不出结果」,而是「一旦做出结果,那个结果几乎必然被夸大」。它污染的不是单篇论文,是整个文献的效应量分布。
【显式】三个可查证的数字: 1. Button 等 2013 年(Nature Reviews Neuroscience)汇总 49 项元分析,神经科学研究的【中位统计功效】约 21%;效应量越小,功效越低。 2. Gelman & Carlin 2014(Perspectives on Psychological Science)的【Type M 错误】计算:真实功效为 0.06 时,达到 p<.05 的研究其效应量估计中位数约为真值的 4 倍;功效 0.5 时约 1.4 倍。 3. Open Science Collaboration 2015(Science)重复 100 项心理学研究:原研究中位 r=0.403,重复中位 r=0.197——大约一半。
【隐式】把三个数并排放,「重复危机 = 有人造假」这个读法就站不住了。低功效 + 显著性筛选 = 一台效应量放大器,而放大器不需要任何不端行为就能运转。
【流程节点链路】真实效应 δ → 低功效设计(n 小,估计在 δ 附近大幅抖动)→ 只有落在显著门槛右侧的估计被写出、被发表 → 已发表文献的效应量分布整体右移 → 后续研究者按右移后的效应量做功效分析、定样本量 → 重复研究自身功效不足 → 重复失败 → 失败被归因为「原研究有问题」或「这个领域不可靠」。起点是【设计】,终点是【归因错误】,中间五步没有一步需要恶意。
【细微】链路里最容易被跳过的是第 5 步:按虚高的效应量做功效分析。这是二次污染——原研究夸大了 δ,重复研究用 δ̂ 算 n,于是重复研究自己也低功效。所以「重复失败」有时不是原研究错了,而是重复研究继承了被放大的效应量、又没给自己留足功效。看见这一步需要比对原研究与重复研究各自的样本量计算,光读摘要永远看不见。
【极难发现】反直觉处:提高功效不会让「显著结果」变多那么多,它主要让显著结果的数值变小、变稳。大样本研究的第一个效果不是「更多发现」,而是「更保守的发现」。这解释了为什么大样本重复研究常被读成泼冷水——它不是在否定效应存在,是在给效应量降噪。功效分析应该被当成【测量精度】问题,而不是【检出率】问题。
【可操作】写作层面:方法部分别写「n=30,参照本领域惯例」,要写「为最小感兴趣效应 d=0.4、α=.05、power=.80,需 n=…;实际 n=…,对应最小可检出效应 d=…」。这一句把不可审计的「惯例」换成可审计的【最小可检出效应】。
【反方立场】主流提案是「禁止低功效研究发表」。我站在反方:这条禁令会先杀死探索性研究,而且把责任压在最没资源的一方(换样本量要钱,写清最小可检出效应不要钱)。真正该禁的不是小样本,是【小样本用大样本的语气报告效应量】。
所以留一个值得吵的问题:如果已发表效应量平均被夸大 2–4 倍,那么「重复失败」的责任该怎么在原作者、重复者、期刊、读者之间分配?我的临时答案是「大部分在重复者」,你的反驳是什么?
# 研究方法 #统计功效 #元科学 #可复现性







0 Comments