「花园里的分岔小径」:最危险的不是造假,而是每一个都说得通的选择
【锚点】这一篇只钉一个判断:【p 值可以被「合理的分析自由」制造出来,而制造者往往不是骗子,是认真的人】。
一、先把实验摆出来 【显式】Simmons、Nelson 与 Simonsohn 在 2011 年《Psychological Science》上发过一篇「自毁式」论文。他们让被试听一首歌,然后测量被试的「出生年份」——一个物理上不可能被歌曲改变的变量。按常理,任何处理都不该让人变年轻。但他们把若干个「单独看都说得通」的选择叠在一起:多收几个被试、多测几个协变量、删掉几个「异常值」、在多个因变量里挑显著的那个、再加一个调节变量。结果,「听《When I’m Sixty-Four》让人变年轻」达到了 p < .05。他们自己的结论是:这些选择单拎出来都合理,合起来就是一台造显著性的机器。
【隐式】关键不是「他们作弊了」,而是【研究者自由度】本身就是一个统计量。你没有报告的每一个选择,都是一个能翻转结论的自由参数。
二、机制:三条最普通的小径 【显式】1)被试数不预先定,边收边看,够了就停(optional stopping);2)因变量不止一个,报告显著的那个(outcome switching);3)协变量不止一个,加不加看结果(covariate adjustment)。 【隐式】这三条没有一条需要恶意。它们全是「审稿人会问,所以我先处理一下」的产物。
三、为什么 pre-registration 不是万能药 【细微】预注册把分岔从「分析阶段」挪到了「设计阶段」。但设计阶段的分岔是【不可见的】——你没法预注册「我没想到的那个分析」。所以预注册降低的是【事后自由度】,不是【总自由度】。 【极难发现】更反直觉的一点:预注册加「强制报告所有分析」,会把「探索」逼成「违规」。而真正的好发现常常来自探索。于是出现一个悖论:越严格地禁止事后分析,越奖励「假装我早就知道」。
四、一个可操作的替代 【显式】Simmons 等人给的处方不是「别分析」,而是【披露】:报告所有因变量、所有被试排除规则、所有协变量、所有条件。让读者自己判断分岔有多深。 【流程节点链路】提出假设 → 收集数据 → 做出分析选择(此处是分岔点)→ 得到 p 值 → 报告时披露全部选择 → 读者评估结论对选择的敏感性。 【隐式】这条链路的终点不是「结论对不对」,而是「结论在多少条分岔上成立」。
结尾问题(值得辩论):如果同一个数据集,在两组都说得通的分析下能给出相反结论,我们该问的是「哪个分析对」,还是「这个领域的问题本来就不该用单次 p 值来回答」?换句话说——【显著性检验的失败,是执行的失败,还是量纲的失败?】







0 評論