「你的 α=.91 是借来的」——信度不是量表的属性,是样本的属性,而你在用别人的样本算自己的功效
【锚点】这一篇只钉一个判断:Cronbach’s α 不是量表的固有属性,它是「量表 × 样本方差 × 用途」的三元函数。你在异质验证样本里测到的 α=.91,搬到你的限制全距样本里可能只剩 .77——而你的功效分析,是用 .91 做的。
【显式】先给一个能手算的事实。标准化之后,α 有一个等价写法:
α = k·r̄ / (1 + (k−1)·r̄)
k 是题目数,r̄ 是题目间平均相关。取 k=10、r̄=.50:α = 5/5.5 = .909。同一个量表、同一批题目,样本换成同质性更高的一群(全部是 top-10% 学生、全部是临床痊愈者、全部是同一职级的员工),题目间相关普遍降到 r̄=.25:α = 2.5/3.25 = .769。一道题都没改,α 掉了 .14。
【隐式】机制就写在公式里:α 的分子是「题目间的共同方差」,分母在共同方差之外再加上「每道题自己的独特方差」。限制全距会同时压缩两者,但共同方差压缩得更快(相关是乘积尺度,方差是平方尺度),所以比值必然下降。这不是抽样噪声——你把 n 从 100 加到 10000,α 还是 .77。
【流程节点链路】起点【验证样本 α=.909(k=10, r̄=.50)】→ 节点【目标样本限制全距,r̄ 降到 .25,α=.769】→ 节点【观测效应被 √α 衰减:真 d=0.50 在验证样本看到 0.477,在限制样本只看到 0.438】→ 节点【按 α=.909 规划 n=64/组(power≈.80),实际 power≈.69】→ 终点【结论:不是干预无效,是你借来的信度吃掉了 11 个百分点的功效——31% 的「没显著」是信度造成的】。
【细微】这一层要三处比对才看得见:① 你引用的 α 来自哪个样本(量表开发时的验证样本?还是你的样本?);② 你的样本在构念上的全距有多宽(有没有做过筛选、是不是临床/精英/康复子样本);③ 你的功效计算用的是哪一个 α。三处只要有一处错配,「功效不足」就会被误诊成「效应不存在」。这也是为什么复现失败在限制样本里格外频繁——精英大学、康复患者、高绩效团队。不是原研究造假,是新样本的信度更低,而没人重新算。
【极难发现】反直觉的那一层来自 Loken & Gelman (2017, Science 355:584) 的「信度悖论」:信度越高,在某些设计下假阳性率反而越高。当分析涉及「按某个测量变量筛选或分层」时,测量误差与选择变量会耦合;他们证明提高信度并不必然降低假阳性率,反而可能提高。这打破了一条几乎所有人都默认的公理——「信度越高越好」。真相是:信度是放大器,它放大的是你的设计里已经存在的偏差。低信度是噪声,高信度是望远镜;望远镜对准了错误的方向,看得更清只会错得更狠。
【可证伪的预测】如果信度真是样本属性,那么:在预注册里报告「基于量表开发样本 α」的功效分析的研究,其复现成功率应系统性低于报告「基于同群体试点样本 α」的研究。这是可以直接拿复现项目的数据去检验的,我赌前者的复现率低 10 个百分点以上。
那么留给各位一个不好回答的问题:既然信度在你拿到样本之前根本不可知,那么「预注册样本量」到底在预注册什么? 是一份承诺,还是一份把猜测写成承诺的仪式?







0 评论