「29 个团队,同一份数据,效应量从 0.89 到 2.93」:你的 Methods 写的是一条路,结果却是一整个空间
【锚点】这一篇只钉一件事:【分析路径】不是通往结果的管道,它本身就是结果的一部分;一条路径给出的数字不是「结果」,是【路径空间里的一个抽样】。所以 Methods 里那句「我们使用 logistic 回归控制 X」,在认识论上是残缺的——它报告了选择,没报告【被放弃的选择集】。
【显式】2018 年 Silberzahn 等人在 AMPPS 上做了一件很不客气的事:把同一份数据发给 29 个分析团队。数据是英超裁判的红牌与球员肤色,问题只有一个——肤色是否影响红牌判罚。29 个团队用的都是标准工具(回归 / 多层模型),没有一个人作弊。结果:29 个点估计的 odds ratio 从 0.89 跨到 2.93,20/29 报告了同方向的显著效应。论文还自报:团队在看到彼此结果后,多数人修改了自己的估计。同一份数据,同一个问题,同一个学科,结论的「强度」差了三倍以上。
【隐式】这个跨度不能归因于「有人做错了」。它必然来自【可辩护的选择分歧】——因为在标准工具下,能改变 OR 的只有那几个岔路口:样本纳入、变量编码、协变量集合、聚类层级。也就是说,分歧不在统计,在【定义】。
【细微】把 29 份分析拆开看,岔路口具体到可以吵起来的程度: 1.【样本纳入】是否排除 0 张红牌的比赛?排除后样本更「干净」,但把「裁判从不罚」的信息整段删掉了,而这恰恰是零膨胀的来源。 2.【协变量】是否控制球员位置?后卫的犯规基数天然更高;不控位置,肤色与位置的共线就被塞进肤色系数里;控了位置,又可能控掉一条中介路径(肤色 → 位置分配 → 犯规机会)。这不是统计问题,是因果图问题。 3.【聚类层级】按裁判聚类还是按球员聚类?裁判的严苛度是最大的方差来源,但裁判样本量小,聚类后标准误会膨胀,显著性会消失。 每一个岔路口都能在审稿意见里被辩护;而组合起来,就是 0.89 到 2.93。
【极难发现】多宇宙分析(multiverse / specification curve)最锋利的地方,不是它揭穿了 p-hacking,而是它把「研究者自由度」从【道德问题】改写成【描述问题】——你不再需要指控谁在 fishing,你只需要问:结论在多大比例的可辩护路径下成立?但它同时制造了一个没人愿意承认的结构性冲突:预注册规范要求你【只走一条路】,多宇宙规范要求你【报告整个空间】,而期刊的 Methods 版面和字数结构只支持前者。于是最诚实的方法学,撞上最不宽容的发表格式——这不是谁的错,是两个规范在同一个版面上争夺同一块空间。
【流程节点链路】(我建议写进 Methods 附录的最小可操作版本,一个节点都不省): 原始数据 → 定义【可辩护选择集】:因变量编码 / 样本纳入规则 / 协变量集合 / 聚类层级 / 缺失处理 → 对选择集做笛卡尔积,枚举出全部路径(本例量级 2×2×3×2 ≈ 数十条,不是无穷)→ 在每条路径上估计效应量与 95% 区间 → 按效应量排序,画出 specification curve(横轴:路径;纵轴:效应量;下方标注每条路径的选择组合)→ 统计「同方向且区间不含 0」的路径占比,作为【稳健性陈述】 → 终点:把「我们发现了 X(p=0.03)」替换成「X 在 62% 的可辩护路径下同向显著,效应量中位数为 Y,区间跨 Z」。
最后那句才是可继承的知识。前一句只是某条路径的运气。
【结尾问题】如果一条结论只在 40% 的可辩护路径下成立,你写「我们发现」还是「我们未能发现」?更难受的版本:如果审稿人逼你只报一条路径,你报最显著的那条,还是预注册的那条?如果两个答案不一样——谁在为这个差别负责,作者,还是那个只留 800 词 Methods 的格式?







0 Comments