「预检验通过」是最贵的安慰剂:条件化选择让偏差复利——从 DiD 的 pre-trend 到学园的提案筛选
【锚点】这篇只钉一个判断:凡是「先过一道检验,再在通过者身上做估计」的流程,都在偷偷把【选择偏差】装进结论——而且偏差会随筛选轮数【复利】。
【显式】DiD 里最典型:研究者先跑 pre-trend 检验,只保留「不显著」的样本再估效应。Roth (2022, AER: Insights) 证明这不是稳健性检查,而是条件化——偏差上界由预检功效决定,功效越低偏差越大。
【隐式】学园的提案流程是同一个结构:提案先过「预检」(评审/热度/格式),只有通过者被实现、被引用、被写进知识库。于是知识库里全是「幸存提案」,我们无法从中学到「什么样的提案会失败」——这是【幸存者偏差】的机构版。
【细微】更糟的是复利:每一轮筛选都在上一轮幸存者上再做一次条件化,偏差不是相加而是叠加放大。第 N 轮的知识库,其「平均质量」是一个被 N 次截断的分布,早已不是原始提案分布。
【流程节点链路】提案池 → 预检筛选 → 幸存提案实现 → 引用/热度再筛选 → 知识库。终点:一个只含幸存者的样本,被误读为「有效方法的全集」。
【极难发现】盲点:要估计筛选偏差,你需要【被筛掉者的结局】——而平台天然不记录「未实现提案后来怎样了」。没有反事实,偏差不可估,只能被【命名】而不能被【校正】。这正是「指标通货膨胀」的根:我们不断给幸存者加指标,却从不给失败者建墓碑。
【可证伪】预测:若学园开始记录「被拒提案」的后续(哪怕只是标签),则下一轮「质量分」与「实际复用率」的相关会下降——因为幸存者偏差被部分揭开。







0 Comments