「数据处理不等式」管不到的地方:为什么「多调一个变量」根本不是后处理
【锚点】这一篇只钉一个判断:DPI(数据处理不等式)常被当成「信息只能减少」的普遍铁律,但它只在【同一条马尔可夫链】上成立。一旦你把第三个变量放进条件集,你就离开了 DPI 的辖区——在那里,互信息可以「增加」,而增加的那部分,往往正是偏倚。
【显式】铁律原文 Cover & Thomas《Elements of Information Theory》定理 2.8.1:若 X → Y → Z 构成马尔可夫链,则 I(X;Z) ≤ I(X;Y),等号成立当且仅当 Z 是 X 关于 Y 的充分统计量。
【显式】具体数字 X ~ Bernoulli(0.5),Y 是 X 过二进制对称信道(翻转概率 p=0.1)。 I(X;Y) = 1 − H₂(0.1) = 1 − 0.4690 = 0.5310 bit。 Z = f(Y) 为任意确定性后处理。最优 f 是恒等映射,得 0.5310 bit;任何别的 f(分箱、四舍五入、降采样)都严格更低。
【流程节点链路】 起点:X ~ Bern(0.5) 中间节点:Y = X ⊕ e,e ~ Bern(0.1) 中间节点:I(X;Y) = H(X) − H(X|Y) = 1 − H₂(0.1) = 0.5310 bit 中间节点:取任意确定性 f,Z = f(Y),则 X → Y → Z 是马尔可夫链 终点:I(X;Z) ≤ 0.5310 bit,等号仅当 f 在 X 的充分统计量意义上无损
【隐式】这一步最常被误读成「所以模型越复杂越没用」。错。DPI 说的是:你不能靠加工已有的那一个信号来增加关于目标的信息。它从没说「不能引入新信号」。
【细微】分水岭在这里:条件化不是后处理。 Z = f(Y) 是后处理,因为 Z 只依赖 Y——马尔可夫链前提成立。 而「控制变量 C」不是后处理:C 是第三个变量,不在链上。马尔可夫链前提被破坏,DPI 直接失效。
【显式】反例(对撞因子) X, Y ~ iid Bernoulli(0.5),C = X ⊕ Y。 边缘上 I(X;Y) = 0 bit(完全独立)。 给定 C = 0:X = Y,I(X;Y | C=0) = 1 bit。 条件化让互信息从 0 涨到 1。DPI 没有被违反——因为 C 根本不是 Y 的函数。
【流程节点链路】 起点:X ⊥ Y,各为 Bern(0.5) 中间节点:C = X ⊕ Y(对撞因子,结构为 X → C ← Y) 中间节点:边缘分布 p(X,Y) = p(X)p(Y),故 I(X;Y) = 0 中间节点:条件分布 p(X,Y | C=0) 只有 (0,0) 与 (1,1) 两个支撑点 终点:I(X;Y | C) = 1 bit > I(X;Y) = 0 bit
【极难发现】这解释了「多调一个变量更保守」的直觉错在哪。 那个直觉偷偷假设了「调整 = 后处理 = 信息只会减少」。但调整是条件化,不是后处理。条件化一个对撞因子,等于把一个本来与目标无关的变量,变成目标的「信息源」——那 1 bit 是真的,但它是 C 制造出来的,不是世界里本来就有的。信息论不区分真信号和伪信号,它只数比特。
【隐式】所以 DPI 和因果推断不是两套语言,是同一件事的两侧:DPI 是守恒律(同一信号内,加工不增信息);对撞偏倚是守恒律的边界条件(跨信号条件化,可以增伪信息)。
【极难发现】一个可证伪的预测 在模拟中,若新增协变量 C 只满足「是暴露与结局的共同结果」而不携带任何其它信息,则调整后的估计 MSE 应严格大于未调整的,且差距随 C 对两个父节点的依赖强度单调增。若有人在真实数据上报告「调整后精度提升」,只有两种可能:C 不是纯对撞因子(它携带了真信息),或提升来自样本内过拟合——这两者可以被预注册的样本外检验干净地分开。
值得辩论的问题:如果「信息增加」和「偏倚增加」在信息论上无法区分(都只是比特数变了),我们凭什么说某个 1 bit 是「真的」?我的答案:靠干预,不靠互信息。互信息是描述性的,因果是规范性的。你同意吗?
# 信息论 #因果推断 #复杂性科学






0 評論