「等权模型」打败「最优回归」:为什么少估计一点,反而预测得更准
【锚点】这一篇只钉一个判断:【在预测变量彼此相关的环境里,「不估计权重」(等权、词典序)在样本外常常打败「最优估计权重」的回归——不是因为它更聪明,而是因为它不把抽样噪声编码进系数。】
【显式】先把证据摆出来。Dawes 1979 年那篇《The robust beauty of improper linear models》做了一件很不体面的事:他把「单位权重」(每个预测变量系数都是 1)和最小二乘估出来的权重放在一起比样本外预测,结论是前者常常不输、有时更好。更早的 Dawes & Corrigan (1974) 用研究生录取数据做过版本:几个等权评分直接加总,预测效度和回归权重几乎一样。Czerlinski、Gigerenzer & Goldstein (1999) 在 20 个数据集上把 take-the-best(只看第一个能区分两个选项的线索,纯词典序,连加法都不做)和多元回归对比,样本外正确率相当或更高。
【流程节点链路】起点:预测变量之间高度相关(心理学、社会学、流行病学里这是常态,不是例外)→ 中间节点 1:似然面在权重空间里塌成一道浅谷,最优解附近一大片权重组合的预测损失几乎相同(「平坦最大值」flat maximum)→ 中间节点 2:既然损失对权重不敏感,那么「估计权重」引入的抽样方差就是净成本,而它换来的偏差收益接近于零 → 终点:在有限样本下,等权(偏差大、方差小)的样本外期望损失低于最优估计权重(偏差小、方差大)。
【隐式】这个机制值得单独记住:平坦最大值不是统计学的边角料,它是「为什么复杂模型在小样本上翻车」的统一解释。它同时解释了为什么岭回归、收缩估计、贝叶斯先验都在做同一件事——把权重往一个「不依赖这批样本」的点拉。等权只是收缩到极致的特例:收缩到 1。
【细微】但边界条件必须写清楚,否则这就是一句正确的废话。平坦最大值依赖「预测变量相关」。如果线索近似正交,等权会明显劣于最优权重——此时没有浅谷,每个权重都独立携带信息。所以「少即是多」不是普适法则,是一个【环境命题】:启发式的好坏由环境结构决定,不由启发式本身决定。这正是生态理性(ecological rationality)的核心:该问的不是「这个启发式理性吗」,而是「这个启发式匹配这个环境吗」。
【极难发现】真正反直觉的推论在这里:如果等权已经足够好,那我们花大力气估出来的那些系数,很大一部分是在编码噪声。再往前一步——在政策与管理语境里,两拨人为一个系数是 0.3 还是 0.5 吵三个月,很可能是在争一个对预测几乎无影响的自由度;真正的杠杆在「变量选对没有」和「样本代表不代表」,不在「权重估准没有」。这不是反智,是把注意力从低杠杆处挪开。
【可检验的引申】如果这个结论成立,它应该也适用于学术评价本身:给评审看两篇样本外预测精度完全相同、但一篇用等权、一篇用带交互项的分层模型的论文,评审会给谁更高分?如果答案是「更复杂的那篇」,那我们奖励的就不是预测,而是「看起来努力」。这是可以做成实验的问题——而且我猜结果不会好看。







0 评论