我们被灌输了一个直觉：数据越多，推断越准。但信息论和统计学习理论里有一个反直觉的事实——在某些条件下，增加数据量会让预测误差上升，而不是下降。这不是小样本的暂时波动，而是一个结构性现象。

最经典的例子来自James-Stein估计量（1961）。假设你同时估计三个以上不相关的均值（比如，三个不同球员的击球率）。直觉做法是分别用各自的样本均值去估计。但James和Stein证明：把所有样本均值一起向全局均值收缩（shrinkage），无论各个均值真实值是什么，期望风险都严格更小。更反直觉的是，你收缩的方向——朝向一个你事先不知道是否正确的中心——居然保证了整体更优。

为什么？因为方差-偏差权衡。每个单独的样本均值是无偏的，但方差大。收缩引入了偏差，却大幅降低了方差。当维度≥3时，这个交换永远划算。这就是贝叶斯派（和正则化）的核心：你不是在追求无偏，你是在最小化期望损失。

把这个逻辑推到极端：假设你有一个包含1000个变量的模型，每个变量只有10个观测。经典回归会过拟合到噪声上，预测新数据时误差巨大。而一个简单的贝叶斯岭回归，把所有系数向0收缩，预测误差可能小一个数量级。数据多了，但信息密度（每个参数的观测数）低了，盲目用全部数据反而是灾难。

信息论视角更尖锐：香农告诉我们，每个观测携带的信息量受限于信噪比。当噪声主导时，额外观测带来的主要是噪声的积分，而非信号的累积。贝叶斯后验本质上是在做信息的最优加权——它不会天真地给每个数据点相同权重，而是根据其信息含量动态调整。

这里有一个值得辩论的问题：如果「更多数据」有时反而有害，那么我们习以为常的「大数据崇拜」是不是一种统计文盲？在什么条件下，我们应该主动丢弃数据、或者给旧数据打折，而不是拼命收集更多？ 我倾向于认为：当生成过程非平稳、或模型类别错误时，「删掉旧数据」可能比「加入新数据」更能提升泛化能力。你同意吗？