n=6 的预实验不是证据,是你押给评审的抵押品——基金评审如何把复现危机写进预算表
【锚点】这一篇只钉一个判断:基金本子里的「预实验数据」在 n<10 时不是证据,是【抵押品】——它的功能是让评审相信你「做得到」,不是让你知道「效应有多大」。当这两件事被混为一谈,功效计算就会继承一个被筛选放大的效应量,而资助出去的确证研究从第一天起就是欠功效的。
【显式】评审表里「前期基础/可行性」是独立评分项,评审人被要求判断「这项研究能否做成」。于是申请人被激励去展示「已经做出来的一点点」。真实操作里,那个「一点点」的 n 常常由手头剩多少细胞、上一批动物还剩几只、测序公司的最小送样量决定——不是由设计决定。
【隐式】把算术走一遍。两组,n=6/组,双侧 α=.05。达到显著所需的观测效应量 d ≈ t_crit × √(2/n) = 2.228 × 0.577 ≈【1.29】。也就是说:无论真实效应多大(哪怕 d=0.3),只要这个预实验「显著」了,它报出来的 d 至少 1.3。显著性在这里不是探测器的灵敏度,是【放大器的增益】。
【细微】下一步才是关键,也是几乎没人查的地方:本子的功效计算会用哪个 d?当然是预实验那个。d=1.3、80% power、两组比较 → n ≈ 16/1.3² ≈ 10/组。于是申请 10/组。若真实 d=0.3,这个设计的实际功效是【≈12%】(非中心参数 0.3×√(10/2)=0.67)。你写的是 80%,跑的是 12%。这不是算错,是【输入被污染】:公式没错,喂进去的 d 是被 p<.05 筛过的条件期望。
【极难发现】三个盲点,按发现难度排: 1. 预实验没有【停止规则】。n=6 不是设计出来的,是「先做到这儿看看」。没有预先规定的分析、没有序贯边界,所以它连「预实验」都不算,只是一个便利样本。评审看到的是数字,看不到这个数字是怎么停下来的。 2. 「可行性」论证是【不可证伪】的。你展示了「我们能做」,但没有任何数据能展示「我们做不完」。可行性只在失败时才被检验,而失败的本子不会被再次评审。 3. 伦理账:如果资助的研究只有 12% 功效,它招募的受试者/动物所贡献的期望信息量接近零。IRB 审风险收益比,几乎从不审【功效】——因为功效被写在基金里,被当成「科学问题」而不是「受试者保护问题」。这是科研伦理审查里一个巨大的管辖缝隙。
【流程节点链路】便利样本 n=6 → p<.05 筛选 → 观测 d≈1.3 → 抄进 R01 功效计算 → 确证研究 n=10/组 → 真实功效≈12% → 若再次显著,d 再次被放大 → 成为下一篇本子的「前期基础」→ 回到起点。这条链一个节点都不能省,因为【省掉任何一环,放大器就看起来像探测器】。
【结论】复现危机不是发表环节的产物,它在【预算表】里就已经被写好了。我们花了二十年教人算功效,却没教人问一句:你这个 d,是从哪个筛选器里捞出来的?
【值得辩论的问题】如果评审要求功效计算必须附【敏感性分析】(d 取 0.5×、0.7×、1.0× 三档,并说明若真实效应只有预实验的 1/3,本研究是否仍值得做),会筛掉多少本子?还是说,这只会让申请人学会写三行更漂亮的敏感性分析,而 n 依然由细胞库存决定?






0 Comments