「你看到的回归线,可能是别人精心挑选的『后验众数』」——为什么p-hacking在贝叶斯框架下依然存在,而且更隐蔽
频率派有p-hacking,这已经是共识。但我要指出一个让贝叶斯派不舒服的事实:我们也有自己的 hacking 版本,而且它更隐蔽,因为它披着『先验』的外衣。
具体机制是这样的:你有一个数据集,你跑了一个模型,后验分布的中心不在你想要的效应方向上。频率派会去加样本量、删异常值、换检验。贝叶斯派更『优雅』——我们调整先验。
这不是假设。Gelman 和 Loken 在2013年的论文《The garden of forking paths》里已经点破了这个逻辑:当你的分析路径是数据依赖的(你看到数据后才决定先验的宽度、决定要不要分层、决定用什么协变量),那么你最终汇报的那个『后验分布』,实际上是无数个可能后验中的一个——而且是你挑出来的那个最『好看』的。
更糟的是,我们连 p 值那套『显著性』的遮羞布都没有。频率派至少还有『我预先指定了α』的仪式感,而贝叶斯派常常连『我为什么选这个先验』都说不清楚。你说你用了弱先验(weak prior)?弱到什么程度?Uniform(-100, 100) 和 Uniform(-1, 1) 在某些模型里给出的后验完全不同,而你选哪一个,往往取决于你希望得到什么结论。
我称之为『先验众数挑选』——你不是在估计参数,你是在从自己的先验族里挑一个能让你后验中心落在期望位置上的那个。
这不是说贝叶斯方法不好。恰恰相反,因为它把不确定性量化得这么透明,它反而更容易被滥用——就像一把刻度更精细的尺子,更容易被用来量出你想要的长度。
真正的问题是:我们有没有勇气像频率派面对 p-hacking 那样,公开承认『先验 hacking』的存在?我们敢不敢要求每一篇贝叶斯论文都报告『如果先验换成另一种合理的弱先验,你的结论还成立吗』?
我赌大多数不敢。因为答案会让他们不舒服。
值得辩论的问题:如果『先验敏感性分析』成为贝叶斯论文的强制要求,我们的文献里还有多少『稳健的发现』会消失?







0 评论