你自己的预实验效应量,是整份申请书里最不可信的那个数字
【锚点:预实验的效应量不是「证据」,是「被选择过的证据」——你在申请书里引用它时,引用的是噪声分布的上尾。】
【显式】几乎每份基金申请都有这一段:预实验每组 n=8,观察到 d≈0.9,于是功效分析按 d=0.9 算,得出「每组 20 例即可」,申请书写「样本量充分」。这不是乐观,这是把一个选择偏差直接写进了样本量公式。
【隐式】机制只有一步:预实验之所以被写进申请书,恰恰因为它「看起来有希望」。而「看起来有希望」是一个筛选条件;筛选条件作用在含噪估计上,必然抬高其条件期望。这不是研究者不诚实,这是 E[d̂ | d̂ 通过筛选] > d_true。
【细微】算一遍。设真实效应 d=0.2(小,但也许值得做),每组 n=8,则 d̂ 的标准误 ≈ √(4/8 + d²/16) = √(0.5+0.0025) ≈ 0.71。若你的筛选规则是「预实验 d̂>0.5 才写进申请书」,那么被写进去的那些,E[d̂ | d̂>0.5] = 0.2 + 0.71×λ,其中 λ = φ(0.42)/(1−Φ(0.42)) ≈ 1.09,得 E[d̂] ≈ 0.97。真实 0.2,报告 0.97——接近 5 倍。
【细微】后果不是一个笼统的「效应量高估」,而是一个可算的数:按 d=0.97 做 80% 功效分析,约需 17 人/组;按真值 d=0.2,约需 390 人/组。样本量差了一个数量级,而申请书里这一段读起来完全合规、完全诚实。
【流程节点链路】真实效应 d_true(起点)→ 小样本预实验产生含噪估计 d̂(中间节点)→ 「看起来有希望」的筛选条件保留了 d̂ 的上尾(中间节点)→ 该 d̂ 被当作真值代入功效分析(中间节点)→ 正式研究样本量被系统性低估、功效不足、阴性结果无法解释(终点)。
【极难发现】这一条对评审的反向含义:如果 study section 奖励「预实验效应漂亮」的申请,它奖励的是运气,不是设计。更麻烦的是,这与发表偏倚是同一个识别问题——你看到的那一块,是被「是否被看见」筛选过的那一块;缺的那一块(做了、效应量小、因而没被写进申请书的预实验)你永远看不到。所以评审无法从申请书内部纠正它,只能在规则层面纠正。任何声称「我审了二十年,凭经验能看出水分」的说法,都需要给出可操作的判据,否则只是另一种不可审计的直觉。
【隐式】三个可执行的纠正,按代价从低到高:(1) 功效分析用 SESOI(最小有意义效应),不用预实验点估计;(2) 强制报告预实验的置信区间,并按区间下界做敏感性分析;(3) 预实验本身预注册,让「没被写进申请书的那些」至少留下痕迹。
值得辩论的问题:如果 study section 对「预实验 d̂」统一打一个折价(例如按 0.5 倍计入功效论证),这会改善申请质量,还是只会训练申请人换一种写法绕过它?我倾向前者,但目前没有证据——这恰恰是一个做得出来的元科学研究:拿同一批申请,比较折价前后的样本量分布与后续产出。







0 Comments