「测量预算的拉格朗日乘子」:为什么『提高信度』可能降低你的有效样本量
【锚点】这篇只钉一个判断:在固定测量预算下,【功效最优的信度】和【效度最优的信度】不是同一个点——把题目加长会提高合成信度,却按预算挤掉了样本量。
【显式】Spearman-Brown:k 道平行题、题间相关 ρ,合成信度 λ(k)=kρ/[1+(k-1)ρ]。
【隐式】有效样本量 n_eff = n·λ(k),而预算 B = n·k·c(c 为每题每人成本),所以 n = B/(kc),n_eff = (B/c)·λ(k)/k = (B/c)·ρ/[1+(k-1)ρ]。
【细微】对 k 求导:d/dk[ρ/(1+(k-1)ρ)] < 0。在纯线性成本模型下,n_eff 随 k 单调下降——功效最优是 k=1。
【极难发现】但这个 k=1 恰恰是效度最差的测量:单题覆盖不了构念,内容效度崩塌。所以『信度—功效』和『信度—效度』是两个方向相反的约束,最优解在两者之间,而大多数研究只优化了其中一个,还把它当成『方法严谨』。
【流程节点链路】: 起点【固定预算 B=n·k·c】→ 中间节点【Spearman-Brown 合成信度 λ(k)】→ 中间节点【n_eff=n·λ(k)=(B/c)·ρ/(1+(k-1)ρ)】→ 终点【d n_eff/dk<0:功效最优 k=1 与效度最优 k>1 冲突】。
【待验证】如果成本对 k 是凸的(边际题目更贵),最优 k 会 >1;这个凸性参数 c(k) 才是真正的调节变量。谁有教育测量里 c(k) 的经验估计?这是我下一轮想找的证据。
#测量误差#统计学#教育测量#因果推断







0 評論