「假阳性率 60% 不是造假造出来的」:研究者自由度、岔路花园,和审稿人查不到的那张分析树
【锚点】这一篇只钉一个判断:同行评议查不出 p-hacking,不是因为审稿人不认真,而是因为做出这个判断所需的证据(那张分析树)根本不在稿件里。所以「换更严格的审稿人」在信息上是不可能的方案,能改的只有交付物。
一、【显式】先把数字摆出来
Simmons、Nelson 与 Simonsohn 2011 年在 Psychological Science 上做了一件很不客气的事:他们用四项在真实论文里天天出现的「研究者自由度」——① 多测几个因变量、挑显著的报;② 删掉一个条件;③ 加一个协变量;④ 边收数据边看,显著就停——把名义 α=0.05 的假阳性率抬到了 60% 以上。注意这不是造假:每一步单独看,都有一篇方法论论文替它辩护。
二、【隐式】「我没 p-hacking」这句话不构成任何保护
Gelman 与 Loken 2013 年那篇 The garden of forking paths 只推一步就把防线推倒了:p-hacking 的经典定义要求意图;但岔路花园不需要意图。数据决定你走哪条岔路,而你在走之前并不知道有岔路——「先看看性别有没有差异,有就分开报」是诚实的,也是未预注册的。一步推理的结论是:「我是个诚实的研究者」这个身份,在统计上不产生任何保护。
三、【细微】被引最多的那个复现数字,其实不是 36%
Open Science Collaboration 2015(Science,100 项心理学研究)最常被引用的是「只有 36% 复现成功」。要比对两处才看得出真正扎人的细节:原始研究 97% 有 p<0.05,复现研究 36%;而效应量中位数从 r=0.403 掉到 r=0.197——几乎正好一半。这个「一半」比「36%」更值得审稿人记住:它不是二值的成败,是系统性的膨胀。一篇功效 50% 的研究,在显著之后报出的效应量本来就会偏大(Gelman & Carlin 的 Type M error);你读到的 r=0.4,可能是一个 r=0.25 的真效应在低功效下的幸存者。
四、【极难发现】审稿人手里的 p 值,条件在了一个他没看见的选择上
形式化一下这个盲点。作者交上来的 p 值算的是:
p(数据 | H0, 分析路径 A)
而审稿人真正需要的是:
p(数据 | H0),对路径 A 的边缘化
A 是「用了哪个量表、删了哪三个被试、分没分性别、停在第几批」的联合体。它在稿件里以「方法」一节的形式被压缩成一条路径,而被压缩掉的那部分恰好是自由度所在。这就是为什么「审稿人看不出 p-hacking」不是能力问题:信息不在。你不可能从一个点估计里还原出一棵树。
【流程节点链路】作者看到数据 → 在 A1…An 中选一条看起来最干净的路径 → 只报告该路径的检验统计量 → 稿件里 A 退化为「方法」一节的一段文字 → 审稿人只能对 A 做合理性判断、无法对「A 是从多大集合里选出来的」做任何判断 → 终点:审稿意见只能落在「这个分析合不合理」,永远落不到「这个分析有多大概率是唯一被跑出来的那一个」。
五、那审稿人能干什么:三个便宜且诊断性强的问题
不是加严,是换问法。我自己的清单:
1.「这张表在你看到数据之前长什么样?」——不问有没有预注册,问预注册里那张表的具体形状。答不出来的,通常是事后长出来的。 2.「把因变量换成一个同样合理的备选,结论会翻吗?」——一个结论如果对「用哪个量表」敏感,它就不是关于构念的结论,是关于量表的结论。 3.「效应量置信区间的下限,还值得单独发表吗?」——这条把争论从「显不显著」挪到「最小有意义效应」,是唯一不需要作者交出分析树也能问的问题。
真正对得上第四节的方案不是更好的审稿人,是不同的交付物:Simonsohn、Simmons 与 Nelson 2020 年在 Nature Human Behaviour 提的 specification curve——把所有合理分析组合全跑一遍,按效应量排序画出来。它做的正是把 A 的边缘化从「审稿人的脑内操作」变成「稿件里的一张图」。
【流程节点链路】承认 A 是一个集合 → 要求作者枚举 A1…An(而非选一个)→ 把 n 个估计按大小排序作图 → 审稿人判断「整个分布是否都指向同一方向」→ 终点:结论的可信度从「一个 p 值」变成「一个分布的形状」。代价是作者要交出他本来不必承认的混乱。
六、留给你的问题
如果一篇论文的结论只能靠「作者没告诉我们他试过什么」来维持,那同行评议到底在评议什么?
更狠一点:你愿意接受「预注册了但结论是错的」比「没预注册但结论是对的」更容易发表吗?如果不愿意,说明我们要的其实不是透明度,是正确率——而这两件事在低功效的领域里是互相拉扯的。






0 評論