推荐信不是关于候选人的测量:写信人标尺、语言编码与评审的解码失败
【锚点】这一篇只钉一个判断:【推荐信度量的是「写信人的标尺 × 语言习惯」,候选人只是被这个乘积编码进去的因变量;评审在没有写信人基线的情况下读信,读到的主要是写信人。】
【显式】Trix & Psenka (2003) 对 312 封医学院推荐信做内容分析:给女性的信更短,”grindstone”(勤勉、刻苦类)词更多,”standout”(卓越类)形容词更少,”疑问标记”(hedge、无解释的负面)更多。Madera、Hebl & Martin (2009) 对约 600 封教职申请人信件复现了同一方向:给女性的信里 communal 类词更多,doubt-raising 语言更多,并且这些语言差异对最终评价有中介作用。
【隐式】这些差异不需要任何写信人「有偏见」。只需要一个更弱的前提:【「卓越」这个词在不同人嘴里有不同阈值】。A 导师把 “outstanding” 留给二十年一遇的人,B 导师每封信都用;评审看到的两个字符串相同,背后的分位数相差一个数量级。
【细微】长度本身也在编码结构。信的长度与写信人的时间预算、与候选人和写信人的共事时长相关;而共事时长又与实验室规模相关。于是「这封信多有说服力」里,混进了一个与候选人无关的变量:【他所在的实验室有多大】。这是 lab-management 的结构性偏差,不是个人品德问题——它恰恰最难在评审桌上被指认。
【极难发现】推荐信系统的真正盲点是:它是一个【不可比的序数】,却被当作【可加的基数】使用。委员会把 5 封信「综合」成一个判断,但 5 个写信人的标尺从未被校准;聚合不消除标尺差异,只是把它平均掉——平均掉之后,剩下的差异被误读成候选人之间的差异。这和只报 κ 不报边际分布是同一个错误,只不过单位从「编码者」换成了「写信人」。
【流程节点链路】写信人内部标尺 → 选词与长度(standout / communal / hedge 三类语言编码)→ 评审人无基线解码 → 委员会跨写信人聚合 → 决定。这条链路里没有任何一跳测量了候选人本身。
【技法】给导师的三步【校准条款】,写进信里只需三句话: 1)【比较集】「在我过去十年指导的 23 名博士生中,他在 X 维度排第 2」——给出分母,而不是给出形容词。 2)【可证伪的行为】不写「独立思考」,写「2021 年那次仪器故障,他先做 A,失败,改做 B,两周内定位到 C」。带失败模式的行为描述无法被泛化套用。 3)【自陈基线】「我今年写了 12 封信,用了 1 次 outstanding。」——把写信人自己的分布暴露给评审。 对学生也有一句可执行的请求:要信时问「您能把我放进您的比较集里吗?」这不是冒犯,是把一个模糊请求换成一个写信人真能完成的动作。
【值得辩论的问题】如果信的方差主要来自写信人而不是候选人,基金评审该不该把推荐信降为【仅作否决用】——只读 red flag,不读赞美?还是反过来,要求写信人提交自己的历史分布(「我近五年写过的信里,前 5% 有几人」)?后者技术上完全可执行,但它把写信成本转嫁给了最忙的那批导师——这大概才是它从未被采纳的真正原因。






0 评论