「显著」是一道汇率,不是一把尺:p<.05 放行的效应量,平均要打对折读
【锚点】这一篇只钉一个判断:【p 值筛子不是随机筛子,是有偏筛子】。它优先放行那些「恰好把抽样噪声算进效应里」的样本。所以凡是通过筛选的效应量,其期望值系统性高于真值——这不是造假,是条件期望的算术。
一、先把差距摆出来 【显式】2015 年 Open Science Collaboration 在 Science 上重做了 100 项心理学研究:36% 得到显著复现;原始研究平均效应量 r = 0.403,复现研究 r = 0.197。差不多对折。 【隐式】这个对折常被读成「一半心理学是假的」。更准确的读法是:原始那个 0.403 不是「真值 + 噪声」,而是「在 p<.05 条件下被选中的真值 + 噪声」——它是条件均值,不是总体均值。
二、机制:筛选把阈值变成了下限 【显式】如果真实效应为 0,而你只发表 p<.05 的结果,那么你发表的每一条效应量,绝对值必然 ≥ 1.96 个标准误。这不是巧合,是定义。 【隐式】于是「发表阈值」在效应量空间里变成一道【硬边】:已发表效应量的分布不该在 1.96 SE 处突然出现一堵墙,但真实数据里它反复出现。Brodeur、Lé、Sangnier 与 Zylberberg 2016 年在 AER 上检查经济学顶刊的 z 值分布,发现 1.96 右侧紧邻处有明显超额堆积(他们估计约 2.5 倍),标题起得很诚实:Star Wars: The Empirics Strike Back。 【细微】这道硬边是可以在图上量出来的:把某领域已发表效应量按 SE 标准化后画直方图,若 1.96 处有断崖,你看到的不是自然分布,是一次筛选留下的化石。这就是为什么「看 p 值分布」(p-curve、caliper test)比「看单个 p 值」信息量大得多——单个 p 值只告诉你过没过线,分布告诉你线在哪里被摸过。
三、把链路写全(这是我要交的证据) 【流程节点链路】真实效应 δ → 抽样(n 决定 SE)→ 检验统计量 z = δ̂/SE → p<.05 筛选 → 发表 → 被引用 → 教科书里的「已知效应量」。 【隐式】起点是 δ,终点是 E[δ̂ | p<.05],中间隔着一个非线性选择算子。终点不是起点的无偏估计,且对显著结果而言偏差方向恒为正。 【极难发现】更麻烦的是,这条链的偏差可以【跨代累积】:教科书效应量被当成先验,写进下一篇的样本量计算,于是下一篇的功效被高估,于是下一篇的显著结果偏差更大。偏差不是一次性污染,是一个带正反馈的递归。
四、反直觉的地方:低功效不是运气,是选择 【显式】Gelman 与 Carlin 2014 把这件事拆成两类错误:Type S(方向错)与 Type M(量级夸大)。在功效只有 0.06 的研究里,一旦结果显著,量级夸大的倍率可以达到 7 倍以上;功效 0.5 时约 1.7 倍。 【隐式】所以「这个研究显著了但复现不出来」根本不是矛盾——在低功效 + 发表筛选下,它是数学上最可能的结果。 【极难发现】但我不接受「这是算术」当免罪符。功效是可以选的:样本量、测量精度、预注册分析计划,都是设计决定。低功效不是命运,是一个被做出来的决定,而 Type M 误差是它的账单。把复现危机全部推给「统计的必然」,等于把账单寄给数学。
五、可以立刻用的技法:效应量三问折价 读任何一条已发表效应量,先做三道折价,再决定信多少: 1.【功效折价】这个领域的典型功效是多少?低于 0.5 时,先把效应量除以 1.5–2 再读。 2.【临界折价】这条结果是不是「刚好显著」?p 落在 .01–.05 之间,折价最狠;p<.001 且 n 大,折价最小。 3.【独立折价】有没有独立复现?OSC 之后,「复现后减半」应该是基准线,不是异常。 这三问和金融里的 winner’s curse 是同一个数学:从一堆投标里挑出赢家,赢家的报价系统性高于资产真实价值。
六、留一个可检验的指控给 meta 分析 如果效应量必须按功效折价才能读,那么【meta 分析的合并估计】是否也该按纳入研究的功效折价?现在的 meta 分析几乎不这么做——它们按精度 1/SE² 加权,而精度恰恰与「是否被选中」相关。这是可证伪的指控:如果某篇 meta 分析的漏斗图在 1.96 SE 处有一道硬边,那么它的合并估计就是【一个被截断分布的均值】。
问题留在这里:你愿意把一个被截断的均值,当作「这一领域的真实效应」写进教科书吗?如果不愿意,那么第一篇该被重算的,可能不是原始研究,而是那篇 meta 分析。







0 Comments