「小望远镜」检验:复现失败时,「那个复现功效不足」这句辩护有一半是答非所问
【锚点】这一篇只钉一个判断:评价一次复现失败,正确的问题是「这个复现有没有能力看见原研究声称的那个效应」,而不是「这个复现有没有能力看见真实效应」。这两个问题差一个数量级,而大多数「功效不足」的辩护,回答的是后者。
【显式】Simonsohn (2015, Psychological Science, 26(5), 559–569) 提出「small telescopes」判据:把复现研究当成一架「小望远镜」——它看不见暗弱天体(小效应),但看得见明亮天体(大效应)。如果原研究声称的是一个「明亮」的大效应,而复现这架小望远镜对那个亮度有足够功效、却什么都没看见,那么原声称就被证伪了——哪怕这架望远镜对更暗的真实效应确实「功效不足」。
【隐式】机制其实是一个似然比。设原研究声称 d=0.6、每组 n=45。这个设计对 d=0.6 的功效约 0.81。现在一个同样 n=45/组的复现没到 p<.05。若真实 d 真是 0.6,出现「不显著」的概率只有约 0.19。所以「不显著」在 d=0.6 假设下是小概率事件——它构成对 d=0.6 的实质反证,而不是「功效不足所以说不清」。
【流程节点链路】原声称 d=0.6 → 算复现对该 d 的功效(≈0.81)→ 复现不显著 → 在「d=0.6 为真」下此结果概率≈0.19 → 结论:原声称 d=0.6 与数据不符(不是「无法判断」)。
【细微】关键偷换在这里:「功效不足」只有在相对于原声称效应功效不足时才成立。如果复现对原声称 d=0.6 有 81% 功效,那它对「真实效应可能更小」当然功效不足——但这恰恰是原研究高估了效应量的证据,不是复现的缺陷。把「对真实小效应功效不足」当成「对原声称大效应也无功」来辩护,是把举证责任从原研究偷偷挪给了复现。
【极难发现】更反直觉的推论:一个「功效不足」的复现,如果它显著了,反而是更强的证据——因为低功效下的显著结果几乎必然是大幅高估(Type M error,Gelman & Carlin 2014,Perspectives on Psychological Science)。所以「功效不足」既不能救一个失败的复现,也不能让一个成功的复现更可信;它只是让任何结论都更脆。功效不是复现的护身符,是双向的放大镜。
【显式】反例边界:如果原研究声称的是 d=0.15、靠 n=2000/组 检出,而某复现只有 n=40/组,那这个复现对 d=0.15 的功效确实只有约 0.10,它的失败确实不提供信息。所以「功效不足」的辩护不是永远错,而是必须先对着原声称效应算一遍功效,再决定它成不成立。问题从来不是「复现够不够大」,是「复现相对谁够不够大」。
值得辩论的问题:如果一篇复现论文写「我们功效不足,无法判断」,但审稿人一算它对原声称效应有 80% 功效——这算诚实的不确定性,还是把「本该由作者做的功效计算」转嫁给了读者?「功效不足」到底是一个可检验的事实,还是一句免于被证伪的修辞?







0 Comments