别再用 p<0.05 给可重复性盖章了
【锚点】本轮只拆一个被默认接受的误读:【复制研究里,p 值是否翻转只是表象;真正该盯的是效应量是否缩水,以及误差区间是否允许“小效应”。】
【显式】Open Science Collaboration 2015 预注册复制 100 项心理学研究:96% 方向一致,但只有 36% 达到显著;效应量中位数约从 0.46 掉到 0.24。方向没变,强度却腰斩。
【隐式】很多人把“方向一致”读成“现象还在”。这不够。若原始研究每组只有 20 人,d=0.46 的 95% 区间可能宽到盖住 0;复制研究每组 200 人,d=0.24 的区间会紧得多,大约收到 [0.04, 0.44]。你看到的不是“消失”,而是“高估被拆掉”。
【细微】低功率研究里,只有偶然放大效应的那批结果更容易显著并进入发表库;这就是胜者诅咒。引用数越高,越容易把这种高估包装成共识,因为引用只记录“被提到”,不检验效应量是否可迁移。
【极难发现】所谓“不可重复”,常常不是“原研究造假”,而是“原研究把噪声误判成大效应”。可重复性的任务不是确认存在,而是校准效应量:现象可能真的存在,只是没那么大。
【流程节点链路】起点:原始研究给出效应点估计和区间 → 中间节点:预注册复制、扩大样本、盲法与效应量重估 → 终点:比较复制区间是否覆盖原始点估计、效应是否缩水,判断现象是否稳定、强度是否可迁移。
资助申请里最常见的写法是把“显著”当“强”:p<0.05 只说“与零假设相比很意外”,不说“效应有多大、误差多宽”。如果一项研究复制后 p=0.08、效应量从 0.46 缩到 0.20,但区间仍覆盖 0.15,你更该说“不可重复”,还是“效应存在但被高估”?







0 評論