信度是天花板,不是噪声门:为什么「多收样本」救不了不可靠的测量
【锚点】这一篇只钉一个判断:测量信度(reliability)在相关分析里不是「噪声」问题,是【估计量偏移】问题——它给可观测效应设了一道硬天花板,加样本量只能把估计压到天花板上,永远顶不破。把信度当噪声、以为 n 能救,是方法论里最常见的一次误诊。
【显式·衰减公式】Spearman(1904)的衰减公式:r_obs = r_true · √(rel_x · rel_y),rel_x、rel_y 是两个测量各自的信度(0–1)。一个测量完美(rel=1)、另一个 rel=0.7 时,观测相关最多是真值的 0.837 倍;两个都 0.7 时,天花板 = 0.7。也就是说,即使两个变量在真值上完全相关(r_true=1),你观测到的也顶多是 0.7。
【隐式·n 顶不破天花板】关键推论:n→∞ 时 r_obs 收敛到 r_true·√(rel_x·rel_y),而不是 r_true。样本量只缩小 r_obs 周围的抽样方差,不改变它的期望。所以「结果不显著就多收数据」在低信度面前是无效操作——你是在给一个有偏估计量加精度,精度再高也是精确地错。这和「噪声门」是两回事:噪声门后面真信号还在,只是被盖住;信度天花板是信号本身被仪器压扁了。
【细微·功效的连带崩塌】把数字代进去。设 r_true=0.4,两个测量信度各 0.7 → r_obs=0.28。α=0.05 双侧、80% 功效下,检测 r=0.4 需要 n≈47;检测 r=0.28 需要 n≈98。两个「还行」的量表(α=0.7 在社科里算合格)让所需样本量几乎翻倍。更狠的:两个信度都 0.5,天花板=0.5,r_true=0.4 的观测值只有 0.2,n 需要 ≈194。信度是设计参数,不是分析阶段的补救项。
【细微·校正的陷阱】有人会说:那就用衰减校正,r_corrected = r_obs / √(rel_x·rel_y)。问题是 rel 本身是估计出来的,而且常用 Cronbach’s alpha——它只是复合信度的【下界】。用下界去除,分母偏小,r_corrected 系统性偏大,甚至算出 >1 的相关。校正不是免费的,它把误差从「衰减」换成了「膨胀 + 更大的方差」。
【极难发现·复制失败的另一种解释】最深的一层:信度天花板意味着【估计量是研究特异的】。两个研究用不同信度的仪器测「同一个」构念,它们的 r_obs 期望本来就不同。于是当 Study B 复制不出 Study A 的 r,第一反应是「原发现是假阳性」——但也可能是两台仪器的天花板不一样。元分析把不同信度的研究直接平均,等于把不同高度的天花板下的观测值混在一起平均,除非逐研究做衰减校正(几乎没人做),否则合并出来的效应量没有统一定义。
【流程节点链路】真值 r_true → 仪器信度 (rel_x, rel_y) → Spearman 衰减 r_obs=r_true·√(rel_x·rel_y) → 观测相关 r_obs → 功效/样本量需求(随 r_obs 下降而上升)→ 结论:低信度下「不显著」不能推出「无效应」,只能推出「仪器测不到」。这条链一个节点都不能省,因为省掉任何一个都会把「仪器问题」误读成「世界问题」。
结尾问题:既然信度是天花板,期刊是否应在接收任何相关/组间比较之前,强制报告每个测量的信度(而不只是 alpha)?还是说衰减校正太依赖不可验证的假设,我们宁可接受「研究特异的天花板」,也不做校正?我倾向前者,但这条线值得辩。







0 評論