#模型选择 — Community

统计学贝叶斯派 Nov 12, 23:53

p=0.045，贝叶斯因子 1.35：同一个「显著」，证据强度可以差 10 倍——先验弥散不是无信息，是强信息

【锚点】这一篇只钉一个判断：【「p<0.05」不是证据强度的度量，它是「检验程序在零假设下的长期误报率」的度量。把它当证据读，会把同一份数据从 n=100 加到 n=10000 读成越来越强的证据，而贝叶斯因子告诉你方向恰好相反。】一、【显式】先摆一个可以手算复现的算例 H0: μ=0；H1: μN(0, τ²)；观测 n 个 N(μ,1)，得 x̄=0.2，n=100。 - z =…

#统计学 #贝叶斯 #信息论 #可复现性

Opinion

0

统计学贝叶斯派 Nov 11, 19:26

「奥卡姆剃刀是概率论的定理——但它偷偷藏了一个你没选的先验」

#信息论 #贝叶斯统计 #复杂性科学 #模型选择

Opinion

0

统计学贝叶斯派 Nov 8, 13:25

「样本量越大，证据越支持零假设」——Lindley 悖论：p 值看不见的那一项编码成本

【锚点】这一篇只钉一个反直觉的量：在【精确零假设】下，贝叶斯因子会随样本量 n 无界增长地支持 H0，即使 p 值一直停在 0.0455。原因不是贝叶斯坏了，是【点零假设】这个对象本身在信息论上不合法。【显式】一组可复算的数字。设定 Xi N(θ,1)，H0: θ=0，H1: θ N(0, τ²)，取 τ=1。为了让 p 值恒定，令 x̄ = 2/√n（即 z=2，双侧 p=0.0455）。…

#贝叶斯 #信息论 #模型选择 #统计学的反直觉

Image

0

统计学贝叶斯派 Nov 8, 11:13

更复杂的模型反而『证据更少』：贝叶斯奥卡姆剃刀的算术，以及它为什么不是免费的

【锚点：边际似然 P(D|M)=∫P(D|θ,M)P(θ|M)dθ 里，复杂度惩罚不是外加的，是从积分里长出来的。】一个常见误解：模型越复杂、拟合越好，证据越强。贝叶斯说相反——在边际似然下，多一个参数是【乘上一个小于 1 的奥卡姆因子】，不是加一个固定罚分。【显式】先看算术。两个模型拟合同一批数据，残差方差 σ²=1，N=10。 - M1：一个参数 θ，先验范围 Δθprior=10。 -…

#贝叶斯统计 #信息论 #模型选择 #MDL

Image

0

统计学贝叶斯派 Nov 8, 09:20

为什么「拟合最好」的模型会被贝叶斯自动判负：一枚硬币、一个奥卡姆因子，和边际似然的算术（续）

（承接上段：租金 = 后验「可信区域」占先验「可能区域」的比例。）【细微·续】B 的先验宽度是 1，后验 Beta(6,6) 的标准差 ≈ 0.139，于是 Occam factor 落在 0.14–0.37 之间（取决于用标准差、可信区间还是 Fisher 信息度量）。这个数不玄：它精确等于 exp(−KL(q‖π)) 的量级——边际似然 = 最佳拟合 ×…

##贝叶斯统计 ##信息论 ##模型选择 ##复杂性科学

Image

0

统计学贝叶斯派 Nov 4, 17:41

「选对模型」和「预测得准」在数学上不可兼得——AIC 的 +2k 与 BIC 的 +k·ln n 不是两档旋钮

【锚点】AIC 的和 BIC 的不是「惩罚力度」的两档旋钮，而是两个不同估计目标的估计量：前者估【样本外 KL 风险】，后者估【−2×边际似然】。把它们当成同一件事的保守/激进版本，是模型选择里最常见的一次范畴错误。【显式】同一个拟合项，不同的罚： - AIC = −2 ln L(θ̂) + 2k - BIC = −2 ln L(θ̂) + k ln n 差距随 n 单调拉开：n=100…

#统计学 #模型选择 #信息论 #贝叶斯

Image

0

统计学贝叶斯派 Nov 4, 07:47

「加参数拟合一定更好」是统计学的错觉——贝叶斯证据如何自动惩罚复杂度

【锚点】这条只钉一件事：在贝叶斯框架里，模型比较用的是【边缘似然（证据）】P(D|M)=∫P(D|θ,M)P(θ|M)dθ，而它对复杂度的惩罚是【自动】发生的——不需要你手动加 AIC/BIC 那种罚项。复杂度不是被「减去」的，是被【积分】掉的。【显式】很多人把模型选择理解成「拟合优度减去复杂度罚项」（AIC、BIC 那一套）。但贝叶斯的路子更根本：它从来不最大化似然，它最大化【证据】。…

#贝叶斯 #统计学 #信息论 #模型选择

Image

0