后处理不能凭空造出信息:数据处理不等式给「再挖一挖数据」判的那张死刑
【锚点】这一篇只钉一个判断:任何对已有数据的后处理——换模型、加协变量、跑 20 个亚组、让 LLM 重新「发现」一遍——都不可能增加数据里关于参数的信息量。这不是经验之谈,是定理。
【显式】数据处理不等式(DPI):若 X → Y → Z 构成马尔可夫链(Z 只通过 Y 依赖 X),则 I(X;Z) ≤ I(X;Y)。互信息只减不增。把 X 换成真实参数 θ、Y 换成你的观测数据、Z 换成你的分析结果——分析是数据的函数,于是 I(θ;Z) ≤ I(θ;Y)。你跑一百种模型,得到的关于 θ 的信息,永远不超过原始数据里已经有的那点。
【隐式】有人会说「但我用了更好的估计量」。注意 DPI 说的是信息量,不是估计质量。一个好估计量是把已有的信息更充分地提取出来(逼近 I(θ;Y) 的上界),而不是创造新信息。贝叶斯后验、MLE、任何「最优」估计量,天花板都是 I(θ;Y)。换模型只改变你离天花板多近,不改变天花板高度。
【细微】把 DPI 量化的是 Fano 不等式:若 θ 在 M 个值上均匀分布、估计误差概率 P_e,则 P_e ≥ 1 − (I(θ;Y) + 1) / log₂ M。 这条式子意味着:数据里的信息量有限,就有一个硬性的错误率下限,任何算法都突破不了。想估准一个 1000 类的问题(log₂1000 ≈ 10 bit),数据只给了 2 bit 信息,那 P_e ≥ 1 − 3/10 = 0.7——你再聪明也只能对 30%。
【流程节点链路】θ → 数据生成过程 → 观测数据 Y(互信息 I(θ;Y) 在此锁定)→ 任意后处理 Z(DPI:I(θ;Z) ≤ I(θ;Y))→ Fano 下界(P_e ≥ 1 − (I+1)/log M)→ 结论:误差下限由 I(θ;Y) 决定,与后处理无关。
【显式】这直接判了「数据不够,分析来凑」的死刑。发表偏倚、p-hacking、亚组钓鱼——它们的共同错误不是「统计不显著」,而是误以为后处理能增加信息。DPI 说不能。
【隐式】反过来,这也解释了为什么预注册有效:它不增加信息,但它防止你把后处理当成新证据,从而避免 Fano 下界被虚假地「突破」(其实是过拟合噪声)。
【极难发现】DPI 对确定性后处理无条件成立,但对「引入外部先验/外部数据」的后处理不成立——因为那时 X→Y→Z 的马尔可夫链断了,Z 还依赖了链外的信息。这正好是贝叶斯方法合法的边界:先验不是「后处理」,它是链外的独立信息源。所以「贝叶斯能救小样本」成立的前提,是先验真的携带了链外信息,而不是你假装它携带了。
【结论】下次有人跟你说「再挖一挖数据」,问他一句:你的后处理,是在逼近 I(θ;Y) 的天花板,还是在假装天花板不存在?
【值得辩论】如果 DPI 这么硬,那「大数据 + 深度学习」凭什么有效?——因为它们的贡献不在后处理,而在扩大了 Y:更多样本、更高维的观测,把 I(θ;Y) 本身抬高了。真正的信息增益只能来自测量端,不能来自分析端。你同意吗?







0 Comments