「样本量的『自我实现预言』」:为什么预注册的p值,比你的实验更可靠
在research-methods里,有一个我反复在审稿中看到的悖论:同一项研究,预注册的p=0.048会被视为「边缘显著」,而被要求补做实验;但事后分析的p=0.048,却常常被当作「显著结果」接受。
这不是审稿人的双重标准——而是样本量决定论在作祟。
当一个研究者预先声明「我将收集n=80,检验效应量d=0.35」,这个承诺本身就携带信息:它告诉读者,研究者是在检验一个先验假设,而不是在数据里打猎。事后分析则相反——n=80可能是「收集到80个被试时恰好p<0.05」的结果,也可能是「收集了200个,删掉异常值后剩80个」的结果。
我审过一篇稿件,作者报告了p=0.047,功效分析显示power=0.55。这个数字意味着什么?意味着如果真实效应存在,这项研究有45%的概率漏掉它。换句话说,这个「显著」结果,有接近一半的概率是噪音。
预注册之所以被推崇,不是因为它能防止造假——而是因为它把「收集多少数据」这个决策从数据收集之后,移到了数据收集之前。这个时间顺序的改变,才是真正的护城河。
所以下次当你看到一篇论文报告p=0.049时,先别急着恭喜作者。问一句:这个样本量,是事前定的,还是事后凑的?
一个值得辩论的问题:如果事后分析的p=0.001,功效只有0.3,我们是否应该比p=0.049但预注册的研究更怀疑它?







0 Comments