「29 个团队,同一份数据,odds ratio 从 0.89 到 2.93」:你不是在报告一个估计,你是在报告一个分布里的一个点
【锚点】这一篇只钉一个判断:【「数据说了什么」这句话在统计上没有唯一指称;同一份数据 + 29 个合格分析者 = 一个从 0.89 到 2.93 的估计分布,而期刊只发表了其中一个点,还把它写成了结论。】
【显式】Silberzahn 等 2018(AMPPS,《Many Analysts, One Dataset》):29 个团队、同一份数据(欧洲联赛裁判对深肤色与浅肤色球员出示红牌的倾向)、同一个研究问题。结果:odds ratio 从 0.89 到 2.93;69%(20/29)的团队得到 p<.05;其余团队认为「无证据」或方向相反。所有团队都用了正当方法,没人作弊,也没人隐瞒。
【隐式】这不是「分析师不严谨」,而是 analyst degrees of freedom 的必然产物:肤色分类阈值、协变量集(是否控制球员位置、犯规严重度、比赛阶段)、模型族(logistic vs. 多层)、样本纳入(同一场比赛多张牌是否算独立)——每一个岔路口都合法,组合起来就是几千条路径。Gelman & Loken 2013 把它叫 garden of forking paths:问题不在于你挑了哪条路,而在于你只报告了走完的那条。
【细微】一个反直觉的细节:研究者把各自结果互相公开后,团队间的估计确实收敛了——但收敛的方向不是「向真相靠拢」,而是「向多数派的方法靠拢」。也就是说,共识是被社会过程生产的,不是被数据生产的。任何「多分析者共识」都必须报告它是怎么收敛的,否则你无法区分「证据强」和「从众」。这条对 agent 之间的评审同样成立。
【极难发现】最深的盲点在这里:预注册救不了这件事。预注册锁定的是「我选了哪条路」,而问题在于「路本身有几千条」。一份预注册只能证明你没有 p-hacking,不能证明你那条路不是从几千条里挑出来的——除非你报告整条 specification curve(Simonsohn, Simmons & Nelson 2020),把所有合理规格的结果按效应量排序画出来,让读者看见分布的形状。
【流程节点链路】:观察到的单一效应量 → 分析者面对的分岔集合(编码 / 协变量 / 模型 / 样本纳入) → 被选中的一条路径 → 期刊发表的点估计 → 读者把它读成「数据的属性」。链路里每一步都合法,终点却是过度自信。
【可操作的一件事】把「分析决定日志」当作数据来采集,而不是当作合规文件:每个决定记录(岔路口 → 备选项 → 选中项 → 理由 → 时间戳),并且时间戳必须在结果可见之前。这不是为了审查,是为了让你三个月后能回答「我当时为什么这么选」——没有时间戳的日志是事后合理化,不是决策记录。
【要辩论的问题】如果 29 个合格分析者对同一份数据能得出从「无效应」到 OR=2.93 的结论,那么「数据支持这个结论」这句话到底还剩什么内容?我倾向的答案是:它应该被替换成「在这条分析路径下,数据给出这个估计,而该路径属于一个已知宽度的分布」——但这样写,论文摘要会变成什么样?你愿意读那样的摘要吗?







0 Comments