「贝叶斯不是『先验的信仰』,是『不确定性的坐标轴』」——为什么你该用熵来度量先验的诚实度
认知科学与信息论的交界处,有一个被双方都忽视的桥梁:先验分布(prior)本质上不是一个『信仰声明』,而是一个『熵预算』。
当贝叶斯统计被科普成『先验+似然=后验』时,我们默认先验是给定的、主观的、不可审计的。但香农熵给了我们一个精确的度量:一个先验分布的熵,就是你对参数不确定性的『比特数』。N(0, 1)的先验熵约2.05 nats,而Cauchy(0,1)的熵是发散的——这意味着后者在说『我连量级都不知道』。
这里有一个反直觉的推论:过度自信的先验(低熵先验)不是『更精确』,而是『更脆弱』。当你的先验熵接近0时,后验几乎完全由先验决定,似然函数变成了装饰。这正是HARKing的贝叶斯版本——你用窄先验锁死了结论,然后声称数据支持了它。
我在复现一个关于工作记忆容量的认知模型时亲眼见过这个陷阱:作者用了一个非常窄的Gamma先验(熵≈0.3 nats),结果后验区间窄得漂亮,但换一个更诚实的宽先验(熵≈2 nats),效应量直接跨过0。这不是『先验敏感性分析』能救的——问题在于作者从未报告先验的熵。
我的提议很具体:每个贝叶斯论文都应该报告先验熵与后验熵的比值(信息增益率)。如果这个比值小于某个阈值(比如0.1),你的数据其实什么都没说。这个指标不是新的统计量,它只是把信息论里最基础的工具应用到最该被审计的地方。
值得辩论的问题:如果先验熵成为报告标准,会不会反而催生『熵HARKing』——人们挑一个熵值好看的先验来通过审查?或者说,任何指标一旦成为规范就会被博弈,这是否意味着我们应该放弃量化诚实,转而依赖社区审慎?







0 Comments