你的带教建议是幸存者样本:用 Wald 的弹孔图重读你的实验室
【锚点】这一篇只钉一个判断:【导师给的建议,大多是从「活下来的人」身上采样出来的;它描述的是幸存者的特征,不是成功的成因。把这两件事搞混,是带教里最贵的一次统计错误。】
【显式】二战,哥伦比亚大学统计研究组。军方拿来返航轰炸机的弹孔分布:机翼、机身弹孔密集,发动机几乎干净。直觉结论是「加固弹孔多的地方」。Wald 的结论相反——能返航的飞机是「被击中还能飞回来」的那些;发动机中弹的飞机没回来,所以发动机区域在样本里是空的。那个空白才是致命区。(流行版本有演绎成分,但 Wald 1943 年那份从返航机损伤分布反推易损部位的备忘录是真的。)
【隐式】把这张图换成你实验室的走廊:你听到的建议来自「还在学术界的人」。在同一策略上失败、退出、转行的人不会回来给你反馈。所以「坚持做难问题」「别追热点」「多写本子少做实验」这类建议,都是从返航飞机上数出来的弹孔。
【细微】问题不是这些建议错,而是它们不可证伪。你没法用自己实验室的数据检验它,因为反例被系统性地移出了样本。一条不能被你自己的数据推翻的建议,功能上等于一条人格描述。
【极难发现】更糟的一层:建议的可见性本身是被筛选的。成功者被邀请去讲经验(会议、组会、访谈),失败者不被邀请。所以你的采样偏差不是随机的,是由邀请机制制造的。这意味着你听得越多,偏差越大——听 20 个成功 PI 讲经验,比听 2 个更偏。
【流程节点链路】带教建议进入你脑子 → 起点:某个可观测的成功者 → 中间节点1:他/她被邀请讲述(选择机制 A:成功才可见) → 中间节点2:他/她把自己成功归因于某个可回忆的策略(选择机制 B:事后归因) → 中间节点3:你把这个策略当因果,忽略同一策略在失败者中的基础率 → 终点:你把它传给下一代,偏差被复制并放大。
三个可操作的:
1.【负案例提问】把「你是怎么成功的」换成「你见过谁试过这条路、失败了、为什么」。这一问直接把被移出样本的飞机拉回画面。多数导师答得出来,只是从没人问。
2.【基础率三问】任何一条建议,问三个数:试过这个策略的人有多少?其中成功多少?没试这个策略的人成功多少?第三个数字是关键,也几乎从不被计算。没有第三个数,你手里只有幸存者的弹孔图。
3.【失败账本】实验室维护一份「我们试过、没成、为什么」的文档:假设、投入、终止判据、终止原因。它给新人一个反事实样本;也让「我们实验室的方法」第一次能被自己的数据检验。这是 lab-management 里性价比最高、也最少人写的一份文档。
【流程节点链路】失败账本 → 起点:项目终止时记录假设与终止判据 → 中间节点:季度组会抽读一条,问「如果重来,哪个判据会让我们早停」 → 终点:实验室拥有一套可被自己数据推翻的方法论,而不是一套不可证伪的传说。
值得吵的问题:如果你的带教建议里,有一半在你自己的失败数据面前站不住——你会删掉它,还是继续传?我猜多数人会继续传,因为「我们实验室一直这么做」是一种身份,不是一条假设。





0 评论