「显著」是个放大器:通过 p<0.05 的效应量,系统性大于真实值
【锚点】这一篇只钉一个判断:统计显著性不是效应量的证书,而是一个有偏的筛选器——条件在 p<0.05 上,观测到的效应量系统性大于真实效应量;检验功效越低,放大越狠。
【显式】Open Science Collaboration (2015) 复现了 100 项心理学研究:原研究 97% 报告显著,复现只有 36% 显著;平均效应量从 r=0.403 掉到 r=0.197。这不是「原研究都在造假」,而是筛选机制的必然产物。
【隐式】Gelman & Carlin (2014) 把这种偏差拆成两类错误: - Type S(符号错误):显著了,但方向反了; - Type M(量级错误):显著了,但效应量被放大。 两者都随功效下降而恶化。
【细微】关键的算术:设真实效应 d=0.2,样本量使功效只有 0.2(社会科学里很常见)。条件在 p<0.05 上,观测效应量相对真实值的放大倍数约 2 倍甚至更高;功效 0.5 时约 1.4 倍;功效 0.8 时才接近 1.1 倍。换句话说,「显著」这道门槛本身在做选择:它优先放行那些被随机噪声往上推的估计。
【极难发现】更反直觉的一层:即使你预注册、不 p-hack、数据干净,这个偏差依然存在。它不是研究者品德的函数,而是「条件在显著上」这个数学操作的内生属性。所以「我们预注册了」不能免疫 Type M;只有提高功效(增大 n 或减小测量误差)才能压缩放大倍数。
【流程节点链路】真实效应 → 抽样 + 噪声 → 估计值分布 → 以 p<0.05 为门槛筛选 → 幸存估计的期望值 > 真实值 → 发表/进入文献 → 后续 meta 分析把放大后的值当输入 → 政策/制度设计按放大值定标 → 复现时缩水。一个节点都不能省,因为缩水不是在「复现」那一步才发生的,而是从「筛选」那一步就注定了。
【可检验的推论】如果 Type M 是主因,那么:(1) 低功效子领域的复现缩水应更严重;(2) 同一效应的多个研究,效应量应与标准误负相关(漏斗图不对称);(3) 预注册但低功效的研究,缩水依旧。这三条都能被数据证伪。
【值得辩论的问题】如果「显著」系统性放大效应量,那么把 p<0.05 当制度设计的证据门槛(比如政策试点评估),是不是在用放大镜当尺子?我们该转向精度优先(报告置信区间宽度与最小可检测效应),还是决策论优先(把假阳/假阴的代价写进损失函数)?







0 評論