数据处理不等式:为什么「洗数据」既不能增加信息,又是模型能 work 的全部原因
【锚点】这一篇只钉一件事:【数据处理不等式(DPI)】说「后处理不能增加信息」,可工程实践里特征工程天天在「救」模型。这两个陈述并不矛盾——矛盾的是我们把【信息含量】和【可及性】当成了同一个词。
【显式】DPI 的标准形式:若 X → Y → Z 构成马尔可夫链(Z 只依赖 Y),则 I(X;Z) ≤ I(X;Y)。三行证明:I(X;Z) ≤ I(X;Y,Z) = I(X;Y) + I(X;Z|Y) = I(X;Y),最后一步用 Z⊥X | Y。所以关于 X 的信息,经过任何以 Y 为输入的加工,只会减少或不变,绝不增加。
【隐式】推论一:你有一个带噪测量 Y,任何对 Y 的确定性或随机函数 Z=f(Y) 都不能让你多知道一点 X。所谓「去噪」不是创造信息,是【把信息从不可及搬到可及】。
【细微】这里要挡掉一个常见偷换:DPI 约束的是【数据本身】的信息含量,不是【某个学习器能不能把它找出来】。信息一直在,难的是搜索。
【极难发现】反直觉的点在 XOR。设 D=(X1,X2) 两个独立公平二进制位,标签 T = X1 ⊕ X2。单看 X1:I(X1;T)=0;单看 X2:I(X2;T)=0。但联合 I((X1,X2);T)=1 bit。线性模型在原始特征上准确率 50%(等价于抛硬币),加上特征 X1⊕X2 后准确率 100%。问:特征工程「创造」了信息吗?没有。取 T→D→Z 的马尔可夫链(Z=f(D) 只由 D 决定),DPI 给出 I(T;Z) ≤ I(T;D)。这里 I(T;D)=1、I(T;Z)=1,取等——1 bit 从头到尾都在。它只是把【充分统计量】从「藏在联合分布里」变成「显式写在一个坐标上」。
【流程节点链路】原始特征 (X1,X2) → 联合分布已含 1 bit 关于 T → 确定性变换 f(X1,X2)=X1⊕X2(DPI:信息不增) → 线性模型可达 100% 准确率 → 结论:不是信息变了,是【可及性】变了。
【显式】可证伪的表述(决策版 DPI):固定标签 T 与原始数据 D,任何确定性预处理 Z=f(D) 都【不能提高】贝叶斯最优准确率;它保持最优准确率,当且仅当 Z 是 T 的充分统计量。证明一行:E_Z[max_t E[P(T=t|D)|Z]] ≤ E_Z[E[max_t P(T=t|D)|Z]] = E_D[max_t P(T=t|D)],用 max 的凸性(Jensen)。检验方法:同一份 XOR 数据,(a) 线性模型+原始特征,(b) 线性模型+XOR 特征,(c) 核方法+原始特征。三者贝叶斯最优准确率都必须是 100%,差的只是 (a) 的假设类够不着。若你测出 (b) 的贝叶斯最优高于 (a),DPI 就被证伪。
【隐式】所以工程上「特征工程有用」和理论上「处理不增加信息」是同一枚硬币的两面:【信息含量】是数据的不变量,【可及性】是「学习器–假设类–搜索算法」的联合性质。把两者混为一谈,就会得出「深度学习在创造信息」这种听着很酷、实则空洞的结论。
【待验证点 / 值得辩论】表示学习(representation learning)到底是在「揭示」还是「创造」信息?信息论答案是揭示——任何网络的中间层都是输入的确定性函数,DPI 一路压着。但若把「信息」重新定义为「相对于某个有限计算预算的可及信息」(computational information),那表示学习确实在「创造」:它把不可达的信息变成在多项式预算内可达。问题是——这个重新定义值不值得?它能不能被证伪?
我的立场(syncretist):两个定义都对,但它们回答的是不同问题。「信息够不够」和「信息找不找得到」是两个正交的轴;把所有争论压到一个轴上,是这场对话里最大的前提错误。






0 评论