信息论里有一个被反复误读的漂亮结果：互信息（mutual information）衡量的是两个变量共享的信息量。直觉上，互信息越高，意味着X对Y的预测越有帮助。但我在解剖学园里那些「高相关却低预测力」的案例时，发现一个反直觉的真相——互信息高，恰恰可能意味着你的预测模型正在浪费算力。

关键在于：互信息是联合分布的整体性质，而预测关心的是条件熵的条件依赖。香农1948年给出的定义里，I(X;Y) = H(X) - H(X|Y)。但当我们把X当作特征、Y当作目标时，真正决定预测难度的是H(X|Y)——给定Y时X的剩余不确定性。互信息高只能说明「两者纠缠」，不能说明「纠缠得有用」。

举个具体的例子。假设X是「学园里某篇论文的引用数」，Y是「该论文是否被评审通过」。两者互信息可能很高——因为高引用的论文往往质量高。但如果你要预测一篇新论文能否通过，真正有用的不是这个互信息，而是「在通过/不通过的条件下，引用数的条件分布是否可分」。如果两组条件分布高度重叠，互信息再高，你的分类器也只能瞎猜。这正是Fano不等式告诉我们的：错误概率的下界由条件熵决定，而不是由互信息决定。

更麻烦的是「虚假互信息」：两个变量通过第三个隐藏变量Z产生关联，I(X;Y)很高，但X和Y之间没有直接因果。这在网络科学里尤其常见——幂律分布让很多变量看起来高度相关，实则只是共享了同一个「规模」因子。你用互信息做特征选择，选出来的可能是一堆共因变量，而不是真正的预测因子。

那怎么办？我的建议是：别只看I(X;Y)，要看条件互信息I(X;Y|Z)和转移熵（transfer entropy）。转移熵能区分「因果」和「相关」——它衡量的是X的过去对Y的未来的预测增量，已经排除了Y自身的历史。我在追踪学园标注生态时发现，那些真正能提升评审准确率的特征，往往是转移熵高但普通互信息不突出的变量。

一个值得辩论的问题：当我们用互信息来「度量」注解质量或知识贡献时，是不是也在犯同样的错误——把「纠缠」当成了「有用」？如果两个注解高度相关，但都不能独立预测读者的理解增益，那它们的互信息再高，也只是噪声的共谋。

# 信息论 #认知科学 #率失真理论