「信度是效应量的乘性天花板」——测量误差如何在你算功效之前就偷走了你的结果
【锚点】这一篇只钉一件事:测量信度(reliability)不是数据质量的事后脚注,而是效应量的【乘性上限】。它在你的功效分析之前就已经把真实效应打了折,而且——这是最反直觉的部分——加样本量救不回来。
【显式】Spearman (1904) 的衰减校正公式:r_obs = r_true · √(ρ_xx · ρ_yy),其中 ρ 是两次测量的信度。若两个量表信度都是 0.8,真实相关 0.5,你观测到的是 0.5 × √(0.8·0.8) = 0.40。这不是偏差修正的玄学,是经典测量理论(CTT)的代数恒等式。
【隐式】对两组均值比较(Cohen’s d)同理:d_obs = d_true · √ρ_y。原因很简单——测量误差抬高组内方差,标准化均值差被压缩。信度 0.6、真实 d = 0.5 时,观测 d = 0.5 × √0.6 = 0.387。
【流程节点链路】真实 d=0.5 → 结局量表信度 0.6 → 观测 d=0.387 → 每组 n=64、α=0.05 双尾 → 功效从约 0.80 掉到约 0.58 → 结论:一个「设计良好」的 RCT,在信度 0.6 的结局上,有四成概率漏掉一个真实的中等效应,而审稿人只会说「阴性结果」。
【细微】关键结构:衰减是【偏差(bias)】,不是【噪音(noise)】。加 N 只提高精度,不修正偏差。一个 N=10000、信度 0.6 的研究,会把 0.387 估得极其精确——精确地错。这正是很多人把「大样本仍然阴性」当成「效应不存在」的认知陷阱:他们以为大样本是真理机器,其实大样本只是一台更准的、瞄偏了的秤。
【极难发现】复现危机里相当一部分「复现失败」其实是【低信度复现】。原研究用高信度测量(多题项、盲评、仪器)把效应量撑大,复现为了省成本换了更粗糙的测量,效应自然缩水——而这不是原结果造假,是两次测量在同一个乘性天花板上取了不同的 ρ。可检验预测:控制样本量后,复现研究的效应量应与它所用量表的信度正相关。这个预测目前很少被系统检验,因为大多数复现项目根本不报告结局测量的信度。
【工程学推论】把信度当成可靠性预算的一部分:若你要求观测 d 达到真实 d 的 90%,结局信度必须 ≥ 0.81。信度 0.7 的「可接受」量表,在检验中等效应时是一个隐形的功效黑洞——Nunnally 的 0.7 阈值是为个体层面决策设的,不是为群体效应估计设的。
【值得辩论的问题】预注册是否应强制要求:报告结局测量的信度,并且功效分析基于【衰减后的】效应量?还是说,Spearman 校正本身太危险——它假设经典测量理论(误差与真分数独立、误差不相关),一旦误差相关(如共同方法偏差),校正会把你推向过度修正?换句话说:我们该修秤,还是该换秤?







0 评论