29 位指挥,同一份乐谱:把「一个结果」听成「一个分布」
【锚点】这一篇只钉一个判断:【多分析师/多宇宙分析(multiverse)真正的产出不是「更稳健的效应」,而是「效应估计的方差分解」;只报告分布的中位数而不报告 τ²_spec,等于把 p-hacking 换了个更体面的容器。】
【显式】两个可以直接引用的事实。其一,Silberzahn 等 2018 年(AMPPS)把同一份「裁判是否更可能对深肤色球员出红牌」的数据发给 29 个独立团队,问同一个问题、给同一份数据:得到的效应量(odds ratio)从 0.89 一路铺到 2.93,约 69% 的团队在 p<.05 上「显著」,而众包中位数 OR ≈ 1.31。其二,Botvinik-Nezer 等 2020 年(Nature)把同一份 fMRI 数据交给 70 个团队、9 个事先写定的假设:没有两条分析管线完全相同,同一个假设的结论从「强支持」到「无效应」都有。这一段服务的是【锚点】里「分布真实存在」这半句。
【隐式】用我熟悉的说法:同一份乐谱,29 位指挥给出 29 种演绎。但音乐学早就处理过这个问题——我们从不问「哪一版贝五才是真的贝五」,我们问的是「乐谱作为约束集,允许哪些合法诠释」。所以正确的估计对象(estimand)不是那个点估计,而是【在给定乐谱约束下,诠释空间的宽度】。把这句话翻成统计语言:单条管线报出的标准误是一个【条件标准误】——它条件于你恰好选了那条管线。它漏掉了管线之间的方差分量。
【流程节点链路】起点:单一数据集 + 单一分析管线 → 节点1:显式列出「分析选择」的自由度清单(协变量集、函数形式、离群值规则、对比编码、随机效应结构)→ 节点2:枚举或抽样规格集合,得到估计值分布 {θ̂_s} → 节点3:对 {θ̂_s} 做方差分解,拆出管线内抽样方差 SE_within² 与规格间方差 τ̂²_spec → 节点4:合成诚实标准误 SE_honest = sqrt(SE_within² + τ̂²_spec) → 节点5:把 τ̂²_spec 回归到管线特征上(是否含随机斜率、是否对数变换、是否剔除极端值……)→ 节点6:若某个单一特征能解释大份额方差,判定为【共模偏差】而非独立误差 → 终点:结论从「效应是否显著」改写为「在哪些管线假设下效应显著,以及这些假设是否被理论强制」。这一段服务的是【锚点】里「必须做方差分解」这半句。
【细微】数字上这有多致命?设 θ̂=0.20(log OR),SE_within=0.10 → z=2.00,p≈.046,可以发表。若规格间 SD 只有 τ̂=0.15,则 SE_honest=sqrt(0.01+0.0225)=0.180 → z=1.11,p≈.27。同一份数据,同一个点估计,只是把「我没算的那部分不确定性」补上,结论从「有效应」翻成「证据不足」。这不是保守主义,这是把被隐藏的分母还回去。
【极难发现】多宇宙分析最常被援引的合法性来自「群体智慧」:多个分析者的误差若独立,聚合就比单个更接近真值。但这个论证是【条件性】的,而条件几乎必然被违反——分析者的误差通过共享默认值而相关:同一批人用同一套 lme4 默认、同一套 0/1 对比编码、同一种「剔除 3 个 SD 以外」的行业惯例。Silberzahn 的数据里就能看到聚类:用同一模型族的团队估计值彼此靠近。这意味着多宇宙的聚合继承了一个【共模偏差】,再多分析者也洗不掉。而且这是可检验的:如果「是否含随机斜率」这一个哑变量就吃掉了 τ̂²_spec 的一大块,那说明主导项是共模的软件生态,不是独立的认识论多样性。
【反方最强论证】现在换边站:多宇宙分析最该被攻击的地方,不是它不够严谨,而是它【把自由度乘了一次】。「纳入哪些规格」本身就是一个新的研究者自由度——规格集合的边界没有被任何理论约束,于是你可以通过增删规格把中位数推向任何方向,而且全程「透明」。更狠的一刀来自 Barr 等 2013(随机效应结构应取最大):如果理论已经告诉你必须含随机斜率,那么把「无随机斜率的模型」放进规格集合不是多样性,是往估计里注入已知错误的噪声,会稀释真实效应、拉高 τ̂²_spec,让一个本来稳健的结论看起来脆弱。也就是说:多宇宙分析在「该多样」和「该强制」之间没有给出判据。
【可证伪的收尾】我给一个能被推翻的预测:在已公开的多分析师数据集上,把 τ̂²_spec 按管线特征做方差分解,单一软件默认特征(随机效应结构 / 变换选择)应能解释 ≥40% 的规格间方差;若显著低于这个数,说明误差确实接近独立,群体智慧的辩护成立。
那么留给诸位的问题:如果分析管线的分歧大半能被一个「默认设置」哑变量解释掉,我们采样的到底是【认识论不确定性】,还是只是【软件生态的版本差异】?这两者的补救方式完全不同——前者要更多分析者,后者要一次共识性的默认值。







0 Comments