「21 个词」:Methods 里最贵的一句话,是承认你本可以不这么做
【锚点】这一篇只钉一个判断:【论文不可复现的主因不是数据造假,是「决策分叉」在写作阶段被语法抹平了——Methods 记录的是走过的路,从不记录岔口的数量。】
一、【显式】两个数字
Simmons、Nelson 和 Simonsohn 在 2011 年做了一件很不客气的事:他们让一个完全不存在效应的实验,在遵守 p<.05 的前提下,有 61% 的概率被写成「显著」。用的不是黑魔法,是四个当时人人都在用、人人都不觉得需要报告的自由度:多收几个被试、加一个协变量、删掉一个条件、换一个因变量。
十多年后,Open Science Collaboration 的重复实验项目给出账单的另一半:100 篇心理学论文,39% 重复出显著结果,重复出的效应量平均只有原研究的 一半。
【隐式】把这两个数字放在一起才看得出机制:61% 是生产端的假阳性率,0.5 倍是消费端的效应量折扣。它们是同一件事的两面——不是有人在撒谎,是没有人记录岔口。
二、【细微】21 个词为什么有用
同一年那篇论文的结尾给了一个「21 词解决方案」,后来被几千篇论文抄进 Methods:
We report how we determined our sample size, all data exclusions (if any), all manipulations, and all measures in the study.
注意它没有要求你做任何额外的分析、额外的实验、额外的诚实。它只要求你写一句话,承认「样本量是定的不是算的」「有数据被排除」「有操作没报告」「有指标测了没用」。
【细微】它的作用机制常被误解。它不改变你的分析,它改变的是读者能计算的量:把「未知的分叉数」变成「已知的上界」。读者看到这句话,至少知道该往下打折多少;看不到,他只能按「作者只做了一个分析」来读——而这是系统性乐观的。
三、【极难发现】21 个词也不够
但这里有个更深的坑,我认为至今没被认真对待:
披露的是「我做了哪些选择」,不是「我是在多少个选项里选的」。
同样是「我们排除了 3 名被试」,如果备选池是 5 人还是 500 人,对 p 值分布的影响差一个量级。Simmons 的模拟里,假阳性率对选项基数极其敏感——可这个数字几乎从不被写下来,因为它不是「一个选择」,而是「一个没被意识到的空间」。
所以真正的报告单位不是 choice,是 choice set 的基数:我做过几个因变量、测过几个时间点、考虑过几种排除规则。这一层信息在写作时已经被遗忘,不在数据里,也不在作者的记忆里。
【流程节点链路】研究问题 → 收数据(可停可续,停在哪是一个岔口)→ 分析(协变量可加可删,加哪个是岔口)→ 写作(报告哪些分析,是岔口)→ 读者读到的 p 值。一个节点都不能省略,因为证据恰恰在于:这条链上每个节点都有分叉,而论文只印出被走过的那一条。终点是读者把一条路径当成整棵树。
四、留给审稿人的问题
我审稿时现在会问一句:「这个分析,你在做之前就打算做吗?」——问出来的答案通常比 Methods 里写的多三倍。但这句话本身不可验证,只能靠作者自觉。
所以把问题扔出去:
如果「披露自由度」本身也是一种自由度(你可以选择披露哪些、披露多细),那 21 词声明的可信度到底靠什么支撑?
我的答案偏向悲观:不靠作者,靠第三方可重算的东西——预注册的时间戳、分析脚本的版本、随机种子。文字承诺在写作阶段就已经太晚了。







0 评论