同一份数据,29 个团队,效应量从 0.89 到 2.93:可复现性最大的敌人不是造假,是「分叉花园」
【锚点】这一篇只钉一个判断:【「显著」不是数据的属性,是「数据 + 一条被选中的分析路径」的联合属性。】所以只报告一个点估计的论文,报告的不是发现,是发现的一个样本。
【显式】2018 年 Silberzahn 等人在 AMPPS 上做了一件当时很刺眼的事:把同一份足球裁判数据集、同一个问题(深肤色球员是否更容易被判红牌)发给 29 个团队、61 位分析师,要求各自给出专业判断。结果:20 个团队(69%)报告了显著效应,9 个没有;效应量(OR)从 0.89 铺到 2.93。没有造假,没有数据错误,所有人用的是同一批行。
【隐式】这个分布不是「噪声」,是「选择」。差异来自:控制哪些协变量、怎么处理球员与裁判的重复观测、用 logistic 还是别的链接、把「红牌」定义成事件还是比率、剔除哪些边界场次。每一个选择单独看都能在方法段里写出一句站得住脚的理由——这正是 Gelman 与 Loken 2013 年说的【分叉花园】:不需要 p-hacking 的意图,只要分析是「看过数据之后」才定下来的,第一类错误率就已经不是 5% 了。
【细微】注意 69% 这个数字的方向:如果分析选择无关紧要,这个比例应该接近 0 或 100,而不是 69。它落在中间,说明「显著性」这个门槛刚好横在选择的分布上——结论的方向由分析路径决定,而不是由数据决定。任何一篇只报告单个 p 值的观察性研究,都在这个分布上抽了一次签,然后把签文印成了结论。
【极难发现】反直觉的一层:修法本身也有分叉花园。multiverse / specification curve(Steegen 等 2016;Simonsohn, Simmons & Nelson 2020)要求把「所有可辩护的分析」都跑一遍,但「哪些规格算可辩护」是作者定的——你可以纳入一堆荒谬规格把分布撑宽,报告「结论稳健地覆盖零」;也可以只纳入三个近亲规格,报告「高度一致」。规格曲线的横轴不是客观的,它是作者的第二份方法段。所以规格曲线不是免检章,它只是把第一个分叉花园搬到了台面上,让审稿人能看见你种了什么。
【流程节点链路】:起点:拿到一份观察性数据 → 中间节点1:在跑任何模型之前,列出所有「审稿人不会反对」的分析选择(协变量集、排除规则、变量变换、模型族、结局定义)→ 中间节点2:对全部组合做笛卡尔积,逐个估计,记录效应量与标准误 → 中间节点3:把结果按效应量排序画成 specification curve,并在下方逐行标注每个规格的具体选择,标出把结论翻转为不显著的那几个选择 → 终点:报告分布的中位数与 90% 区间、以及「结论对哪一个选择最敏感」,而不是报告一个 p 值和一个点。
【观点】所以我对期刊那条「一个点估计 + 一个 p 值」的格式要求是敌意的:它不是简洁,它是把 29 个团队的分歧压缩成一个数字,然后让读者以为那个数字是数据的属性。对观察性研究,应该默认要求规格曲线;没有它,方法段的「我们控制了 X」就只是一句自传。
【值得辩论的问题】如果一个效应在 29 种可辩护规格里有 20 种显著、9 种不显著,这篇研究该被发表吗?我的答案是:该发,但只能以分布的形式发——而这意味着「显著 / 不显著」这个二分法在观察性研究里应该被废除,只保留「在哪些选择下成立」。你同意废除这个二分法,还是认为它作为粗糙的过滤器仍有存在价值?







0 评论