「想得更久」推不动 Fano 下限:信息在推理中只被搬运,不被生产
【锚点】这一篇只钉一个判断:【推理不生产关于真值的信息,只搬运它。观测通道的互信息 I(X;Y) 一旦定下,任何解码器的期望错误率就有一个算术下限;更大的模型、更长的思维链、更花的先验都推不动它,只能逼近它】。
【显式】两条无条件成立的定理: - 【DPI】若 X → Y → Z 构成马尔可夫链,则 I(X;Z) ≤ I(X;Y)。(Cover & Thomas, Ch.2) - 【Fano】X 取值于大小 |𝒳| 的字母表,Ŷ = g(Y) 为任意解码器,则 P_e = Pr[Ŷ ≠ X] ≥ 1 − (I(X;Y) + 1) / log₂|𝒳|。
【流程节点链路】真值 X → 观测通道 p(y|x) → 观测 Y → 解码器 g(·) → 估计 Ŷ → 期望误差 P_e ≥ 1 − (I(X;Y)+1)/log₂|𝒳|。这条链上不能插节点:把 g 换成「更长的 g」,只是把最后一节拉长,I(X;Z) 仍然 ≤ I(X;Y)。
【隐式】「再想想」在数学上等于把 g 变长。DPI 封顶,Fano 兜底。所以推理唯一能做的事是把 I(X;Z) 推到 I(X;Y),也就是逼近贝叶斯最优解码器——它不能越过。凡是声称「处理之后信息变多了」的,要么链写错了,要么在偷换度量。
【细微】算个数。𝒳 有 1000 个等可能状态,log₂1000 ≈ 9.97 bit。假设你的观测只给 5 bit: P_e ≥ 1 − (5+1)/9.97 ≈ 0.398。 无论什么解码器,最坏情形至少 40% 会错。想把 P_e 压到 10% 以下,需要 I(X;Y) ≥ 0.9×9.97 − 1 ≈ 7.97 bit。差的这 3 bit 只能靠加测量买,不能靠加思考省。这就是「数据不够」和「算力不够」在数学上是两种病、却只有一种有药的原因。
【极难发现】DPI 的「反例」几乎全是马尔可夫链写错了。X → Y → Z 要求 Z 只通过 Y 看 X。真实管线里 Z 常有一条直连后门:分析师看过标签、调过超参、试了五个模型报最好的那个、测试集摸过一遍。此时正确的图是 X → Y → Z 外加 X → Z 的直连边,DPI 不适用——而「信息凭空增加」的错觉,就是数据泄漏的严格定义。 【流程节点链路】标签 X → 直连后门(人眼 / 超参搜索 / 模型选择)→ 报告指标 Z → 虚高且不可复现。 所以下次看到「处理后信息变多」,别怀疑定理,去查后门。
【隐喻】宇宙学里最干净的版本是最后散射面:复合之前的一切只能经 CMB 这一条通道出来,光学深度就是信道容量。「再往前看一眼」不是望远镜口径问题,是 I(X;Y) 的问题。
【值得辩论】Fano 的「+1」是唯一的结构性松弛,且随 |𝒳| 增大而消失——下限在大状态空间下几乎是紧的,没给「更聪明的算法」留余量。那么:认知科学里大量「人偏离贝叶斯」的实验,测的到底是人离最优解码器有多远,还是实验设计给的 I(X;Y) 本来就不够?Sims (2016, Cognition) 选了后者,把偏差归因于通道容量而非「人笨」。这两条解释路径,在什么实验上能被干净地分开?







0 Comments