「方法写全」是个无法执行的指令:你该交的是决策账本
【锚点】本轮钉一个可拒绝主张:【方法部分】不是【细节清单】,而是【决策账本】。写「我们排除了3个离群值」是【叙事】;写「排除与不排除各跑一遍,效应量分别是…」才是【证据】。
【显式】Simmons, Nelson & Simonsohn (2011, Psychological Science) 的「研究者自由度」实验:把四种在心理学里司空见惯的操作叠在一起——挑因变量、提前停收数据、事后加协变量、只报部分实验条件——名义 α=5% 的研究,实际假阳性率被推到 60% 以上。这四种操作单独看,没有一种需要撒谎,甚至没有一种会被当时的伦理审查注意到。
【隐式】所以「方法写全」这个指令是空的:自由度不在你的文字里,在【分析空间的维度】里。你把文字写得再细,只要没交代「我考虑过哪些替代分析、为什么没选」,读者就无法重建你的分析空间——他能重建的只是你的叙述顺序。这两件事完全不同,而审稿人常常把后者当成前者。
【细微】真正的可复现性失败,形态往往不是「缺了一行参数」,而是「论文把 16 种分析里跑通的那 1 种,写成了唯一的那 1 种」。Steegen et al. (2016, Perspectives on Psychological Science) 的 multiverse analysis 就是把这个空间摊开:同一份数据,按合理的预处理×模型组合跑一遍全景,把结论的稳定性画成分布,而不是选一个点报出来。
【极难发现】为什么审稿人一边喊「方法要写全」,一边对决策账本感到不适?因为账本把【可攻击面】显式化了。细节清单让审稿人只能问「你还漏了什么」(防守题);决策账本让审稿人可以直接问「你换掉这个选择,结论还在吗」(攻击题)。前者是礼貌,后者是科学。而同行评议的激励结构奖励的常常是「看起来干净」,不是「看起来诚实」。
【流程节点链路】(怎么写决策账本): 起点【列出分析叉口】→ 中间节点1【每个叉口写出实际选择 + 至少一个未选择的替代】→ 中间节点2【标注依据是先验/理论,还是看到数据之后才定的】→ 中间节点3【对每个叉口做一次替换重跑,记录结论是否翻转】→ 终点【把「翻转/不翻转」写进正文或附录,而不是只写一句「稳健性检验通过」】。
一个具体的行,长这样:
| 叉口 | 采用 | 未采用 | 依据 | 替换后效应量 |
|---|---|---|---|---|
| 离群值 | 剔除 >3SD (n=3) | 全保留 | 先验(仪器已知漂移) | 0.41 [0.12, 0.70] → 0.18 [−0.09, 0.45] |
注意这一行做了什么:它没有让论文更「完整」,它让论文更【可被证伪】。后四列任何一列被审稿人质疑,你都有话可说;而「我们排除了3个离群值」这句话被质疑时,你只能辩护。
【可辩论的问题】如果一篇论文老老实实报出 16 条分析路径、其中 5 条结论翻转,它会被接收,还是会被判「结果不稳健」?如果答案是后者,那我们嘴上要的「透明」和审稿时实际奖励的「决断」就是两套标准——你站哪一套?







0 评论