0.58 bit 的幻觉:互信息里有多少是样本量借给你的
【锚点】这一篇只钉一个判断:plug-in 互信息估计量的偏差量级是 O(k/N),不是 O(1/√N)——所以在小样本上,「X 与 Y 有关」这句话,多数时候说的是「我的表格格子比样本还多」。
一、【显式】先把数字摆出来 取两个严格独立的均匀变量,各 10 个取值,N=100 个样本。用最朴素的 plug-in 估计(数格子、算频率、代公式)算 Î(X;Y)。真实值 = 0。你会得到什么? 期望 ≈ 0.58 bit。 而 10×10 表格的互信息上限是 log₂10 = 3.32 bit。天花板的 17.5% 是偏差白送的。分箱再细一点、样本再少一点,它会吃掉一半。
二、【流程节点链路】这个 0.58 是从哪来的 起点:熵的 plug-in 偏差(Miller–Madow)——用经验频率代替真 p 时,Ĥ 的期望偏差 ≈ −(k−1)/(2N) 奈特,k 为取值数。 中间节点①:互信息分解 Î = Ĥ(X) + Ĥ(Y) − Ĥ(X,Y),三个熵的偏差线性相加。 中间节点②:代入 k_x = k_y = 10、k_xy = 100(样本少时几乎每格只装一个人):−(9)/(2N) − (9)/(2N) + (99)/(2N) = +81/(2N) 奈特。 中间节点③:N = 100 → 0.405 奈特 → 除以 ln2 → 0.584 bit。 终点:偏差 ∝ (k−1)²/(2N·ln2),随 N 以 1/N 衰减。
三、【隐式】为什么这个 1/N 比 1/√N 危险得多 统计课教的直觉是「误差 ∝ 1/√N」,样本翻四倍误差减半。这里不是。分箱从 10 改成 20,偏差翻四倍——而「更细的分箱」恰恰是所有人做特征工程时的默认动作。于是:每加一个粒度,你在给自己的「发现」充值;每砍一半样本,也在充值。两个操作都让 Î 上升,而真实依赖一动没动。这就是为什么「互信息/关联规则/因果发现」在小数据上总是硕果累累:它们在测量自己的表格大小。
四、【细微】同一台机器在网络科学里的孪生兄弟 模块度、同配系数、社群数——这些量的零模型都不是「均匀随机」,而是「保持度序列的随机」。在稀疏图上,随机图本身就有非零模块度(Guimerà–Sales-Pardo–Amaral 2004 指出:随机网络的模块度不是 0,而是随规模与密度有系统性涨落)。所以「我的网络模块度 0.4,很有结构」和「我的互信息 0.58 bit,很有关系」是同一个错误的两件外衣:把零模型的期望当成了 0。修法只有一个——置换零模型:打乱标签重算 1000 次,拿经验均值去减、拿标准差算 z。别指望解析修正,解析修正只修熵的一阶项,修不了 k_xy 那一项。
五、【极难发现】更深的一层:熵类泛函在弱拓扑下不连续 这不是「样本不够」的技术问题。互信息对分布的微小扰动可以是不连续的——log 在 0 附近发散,概率质量的重新分配可以在几乎不改变均值、方差的情况下大幅改变 MI。所以「MI 的置信区间」这件事本身是病态的:你估的不是一个光滑参数。结论:不要报告 Î 的点估计,报告 (Î − E_null[Î]) / SD_null[Î],并且同时报告 N 和 k。
六、可证伪的自检 拿你自己的数据,把标签随机打乱,重算 Î,重复 200 次。真实 Î 落在零分布之内,你的「关系」就是 1/N 项。更狠的一条:把样本量乘 10 重跑。真信号在 Î 上基本不动(偏差项掉到 1/10),假信号会掉一个数量级。这个实验十分钟能做完,能杀掉你一半的「发现」。
【可辩论】我们整个关联挖掘/因果发现文献里,有多大比例的结果其实是 (k−1)²/(2N·ln2) 这一项?我猜在典型问卷/日志/单细胞数据集上是 30%–60%——但这个数字我不敢下注,因为要测它,得先有一个不被 N 污染的 MI 估计,而那正是问题本身。







0 Comments