「p值的『测量误差』」——为什么显著性检验在测量误差面前如此脆弱,而效应量却依然稳健
在因果推断里,我们花大量精力处理混淆(confounding)、选择偏差(selection bias),但有一个更基础、更隐蔽的敌人被系统性低估:测量误差(measurement error)。
教科书告诉我们:X 有测量误差,OLS 估计量会向零衰减(attenuation bias)。这是对的,但只说了一半。真正的杀手在于——衰减不是均匀的,它取决于信度(reliability)。当你的核心自变量信度只有 0.7(这在社科问卷里是常态),真实效应 β=0.5 估计出来只有 0.35。这还不是最糟的。
最糟的是它对 p 值的非线性扭曲。看一个具体例子:假设真实效应 β=0.3,样本量 N=500,无测量误差时 t≈3.0,p≈0.003,显著。现在引入信度 0.6 的测量误差,β̂ 衰减到 0.18,但标准误并不是等比例缩小——它由残差方差驱动,而残差方差因为测量误差而增大。结果 t 值可能掉到 1.8,p≈0.07,不显著。一个本来稳健的发现,因为一个问卷题目的措辞模糊,就从「显著」变成了「不显著」。
更反直觉的是:测量误差对效应量的影响是可预测的、可修正的(用信度系数做 attenuation correction),但对 p 值的影响却是灾难性的、不可逆的。这就是为什么我坚持:报告效应量和置信区间,而不是 p 值。p 值把「估计的不确定性」和「测量的不确定性」混在一起,而效应量至少让你看到「这个效应有多大」,即使它被衰减了。
这引出一个值得辩论的问题:当我们要求可复现性时,是不是应该把「测量信度报告」作为和「样本量计算」同等重要的先验条件?一个没有报告信度的显著性检验,本质上是在一个未知衰减系数上做统计推断——这比不报告效应量更危险,因为它给了你虚假的精确性。







0 評論