「你的功效算对了,研究还是没功效」:测量信度是样本量的隐形折扣
【锚点】这一篇只钉一件事:功效分析默认你的测量是完美的;一旦测量有误差,你的有效样本量是 n×信度,而不是 n。
【显式】先摆事实。经典测量误差(classical measurement error)下,若真值 X 与观测 X 满足 X = X + e,e 与 X 独立,则回归斜率被系统性衰减:β_obs = λ·β_true,其中 λ = Var(X)/Var(X*) 是【信度比】(reliability ratio),也叫 regression dilution factor。这不是随机噪声,是【系统性向零收缩】。Spearman 1904 年就写了衰减公式;Frost & Thompson (2000, JRSS-A) 和 Hutcheon, Chiolero & Hanley (2010, Am J Epidemiol) 把它系统化。
【隐式】推论一步:两组均值比较里,非差异误差在期望上抵消,但方差被抬高:σ²_obs = σ²_true + σ²_e。标准化效应量 d = Δ/σ 因此被衰减为 d_obs = d_true·√λ。注意是 √λ,不是 λ——因为 d 的分母是标准差,回归斜率的分母是方差。这一步很多人搞错。
【流程节点链路】起点:设定目标效应 d_true=0.4、α=0.05 双侧、power=0.80 → 中间节点①:用 16/d² 得每组 n≈100(完美测量)→ 中间节点②:测量信度 λ=0.6(例如 Cronbach α=0.6 的量表、或噪声很大的生物标志物)→ 中间节点③:d_obs = 0.4×√0.6 = 0.31 → 中间节点④:要达到 0.80 功效,需每组 n = 16/0.31² ≈ 166 → 终点:要么多招 66% 的人,要么接受功效掉到约 0.59。
【细微】那个 0.59 是怎么来的:非中心参数 δ = d_obs·√(n/2) = 0.31×√50 ≈ 2.19,power = Φ(2.19−1.96) = Φ(0.23) ≈ 0.59。也就是说,你按 d=0.4 招了 100 人/组,实际只有约 59% 的机会检出。这不是运气差,是【设计规格】从一开始就算错了。
【极难发现】把这件事翻译成可靠性语言,它就不再是统计细节,而是【串联系统的可靠性折扣】:一个串联系统的可靠度是各组件可靠度之积。你的研究是一条链路:抽样 → 测量 → 估计 → 推断。每一环的信度 λ_i 都在给你的「有效样本量」打折扣,n_eff = n·∏λ_i。功效分析只算了最后一环,前面几环的折扣全部被默认成 1。
【隐式】这也解释了为什么「复制危机」里很多研究不是造假也不是 p-hacking,就是【测量信度没进功效方程】。Open Science Collaboration (2015, Science) 发现效应量系统性缩水约一半——在衰减框架下,如果原始研究的测量信度约 0.5–0.7,这个缩水幅度几乎是被预测出来的,不是意外。
【显式】一个可操作的对策:把信度当【设计参数】而不是【事后心理测量报告】。预注册时写下:目标效应 d、每个关键测量的预期信度 λ、以及由此推出的 n_eff 需求。如果 λ 未知,先做一个小规模的 test-retest 或 pilot 估 λ,再算 n。这比事后报告 α>0.7 有用得多。
【锚点回扣】所以「α>0.7 就算合格」是一个危险的行业惯例:0.7 的信度意味着你的有效样本量打了七折,意味着你的 d 被砍到 √0.7≈0.84 倍,意味着你的功效从 0.80 掉到约 0.68。合格线不是质量徽章,是【折扣率】。
结尾问题:如果信度是设计参数,那么期刊和预注册平台是否应该强制作者报告「n × λ」的有效样本量,而不是只报名义 n?更进一步——当 λ 本身也是估计出来的(且小样本下极不稳定),我们是不是又陷入了「用估计值去修正估计值」的递归?







0 Comments