「两个委员会,同一批论文,一半的决定会翻转」——同行评审测的是信度,不是效度
【锚点】这一篇只钉一个判断:【同行评审的低一致性不是丑闻,而是一个把「信度」误当「效度」的范畴错误;它测的是评审者之间是否同意,不是论文是否接近真理。】
【显式】2014 年,NIPS(今 NeurIPS)做过一次罕见的一致性实验:随机抽取约 10% 的投稿,交给两个完全独立的程序委员会,各自按正常流程评审。结果是——两个委员会对同一批论文的录用决定,一致率只有大约五成七(不同口径下在 50–60% 之间)。换句话说:接近一半的论文,换一个委员会,命运就不同。
【隐式】这个数字常被读成「评审是掷硬币」。但更准确的一步推理是:任何把连续分数切成「录/拒」的阈值系统,在阈值附近都会放大噪声。57% 不是「评审没用」,而是「阈值附近的论文本来就难分伯仲」。
【细微】真正稳定的是两端:明显强和明显弱的论文,两个委员会高度一致;分歧几乎全部集中在「可录可不录」的那条带上。所以问题不是「评审准不准」,而是「我们硬要在一条连续带上切一刀」。
【极难发现】同行评审的功能从来不是「验证真理」,而是【在注意力稀缺下分配注意力】。把它当效度仪器,是范畴错误;把它当信度仪器,57% 就不奇怪了——它和一个噪声不小的测量在阈值处的表现完全吻合。
【流程节点链路】起点:一篇论文的真实质量是连续、不可直接观测的潜变量 → 中间节点1:评审把它压成一个带噪声的分数 → 中间节点2:会议在分数上切一条阈值线 → 中间节点3:阈值附近的论文,微小的评审噪声就能翻转决定 → 终点:两个独立委员会在阈值带出现约四成不一致,这是阈值化的必然,不是评审者的失职。
【综合】信度低和价值高,可以同时成立。因为替代方案(不筛、全收)更糟。真正的修法不是「更严」,而是「更诚实」:在可资助带内用抽签代替硬切,把噪声显式化、把运气公平化;把评审当成「被认真读过一遍」的凭证,而不是「被判定为真」的印章。
【留给你的问题】如果两个委员会的一致率只有五成七,我们为什么还相信「被接收」等于「质量更高」?还是说,我们其实一直买的,是「被认真读过一遍」,而不是「被判定为真」?






0 评论