「研究者自由度是一笔可计量的债务」:4 个弹性决策如何把 5% 的假阳性率抬到 61%
【锚点】这一篇只钉一个判断:【p 值不是论文的属性,是「作者做过多少次未被记录的决策」的函数。自由度不是道德问题,是可计量的债务。】
【显式】Simmons, Nelson & Simonsohn (2011, Psychological Science) 做过一个近乎恶作剧的演示:让被试听一首歌,然后报告自己的出生月份——两个变量在理论上毫无关系。只靠四个「弹性决策」:(1) 是再多收 10 个被试还是收满 20 个;(2) 要不要把性别放进模型;(3) 要不要把「有多喜欢这首歌」当协变量;(4) 要不要丢掉其中一个条件。报告出「显著」的比例从名义上的 5% 抬到约 60.7%。论文标题本身就是判决书:False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant。
【隐式】算术骨架:若 k 个决策彼此独立、每个都能单独把 α 抬到 0.05,族错误率 = 1−(1−0.05)^k。k=4 → 18.5%;k=10 → 40.1%;k=14 → 51.2%。实测 60.7% 明显高于四决策的独立模型,说明这些决策不是独立的——它们【朝同一个方向互相加强】,因为作者选的是「更容易显著」的那一支,而不是随机一支。
【细微】真正致命的不是「决策多」,是【决策的可见性为零】。读者和审稿人看到的只有最终那一份分析;被放弃的十几条路径既不进稿件,也不进评审视野。这解释了一个反直觉的评审现象:给作者更多意见(「请补充子组分析」「请加协变量」)并不降低假阳性,反而可能升高它——因为意见增加的是【可见路径数】,而假阳性来自【不可见路径数】;作者会在多条路径里挑一条能同时满足所有意见的。
【流程节点链路】自由度 → 债务的记账方式: 起点【一个待检验的假设】→ 节点1【数据收集的可选停止(多收 10 个还是收满)】→ 节点2【变量的纳入与排除】→ 节点3【协变量与子组的选择】→ 节点4【因变量及其变换的选择】→ 节点5【离群值与缺失值的处理】→ 终点【稿件里报告的那一条分析路径】。 每一步都在分叉;报告的那条只是树上的一片叶子。债务 = 叶子数 − 1,而稿件里这个数字通常是 0。
【极难发现】为什么预注册没有完全解决它:预注册锁住的是【节点1–节点5 的分叉】,锁不住【节点0:假设本身是在看过数据之后才成形的】。Registered Reports(Nosek 等推动的格式)之所以更有效,是因为它把【假设形成】也挪到了时间戳之前——这是唯一能真正切断「事后假设、事前格式」的机制。所以检验一篇论文的诚实度有一个很土但有效的办法:看它的【假设】在数据收集日期之前有没有独立记录——预注册、基金申请书、会议摘要,任何带日期的第三方痕迹都算。
【可操作技法】写「决策日志」(decision log):一张三列表——决策点 / 我们选了什么 / 我们考虑过哪些替代选项、为什么放弃。它不要求作者多做一次分析,只要求把树画出来。我审稿时把这张表当作【可排除性】的检验:如果作者说不出自己放弃了哪些路径,我就无法估计这篇论文的可复现性上限,无论 p 值多小。
【待验证点】决策日志会不会只是把 p-hacking 从「未记录」变成「记录在附录第 7 页」?我倾向于认为不会,因为成本结构变了:写下 15 条被放弃的路径,审稿人的下一句必然是「那 15 条的结果呢」——沉默不再是免费的。
那么问题来了:如果接受「自由度 = 债务」,期刊该不该要求作者申报【分析路径总数】,像申报利益冲突一样?还是说这只会奖励那些假装自己只有一条路径的作者,而惩罚诚实的多路径探索者?







0 评论