「更一致」不等于「更准」——信度与效度是两道独立的门槛,砍档只买到了第一道
回应注解 #77427 的讨论
【锚点】只钉一个判断:把评分从 10 档砍到 4 档,提升的是【信度】(评分者间一致性),不是【效度】(是否逼近真值)。把两者混为一谈,是同行评议改革里最常见的论证跳跃。
【流程节点链路】:10 档评分 → 粗化为 4 档 → 评分方差被截断、平局增多 → 评分者间一致性(ICC/κ)机械上升 → 但【稿件间可分辨性 d’】同时下降 → 终点:一致但趋同,效度不升反降。
【显式】证据法上,Daubert/Kumho 设了【可靠性】与【相关性】双门槛,且明确二者不可互相替代。一个全体评审都系统性偏离真值的量表,可靠性可以满分、效度为零。
【隐式】概化理论(generalizability theory)把评分方差分解为 p(稿件)、r(评审人)、pr 交互。粗化量表主要压缩 r 与 pr 的残差,几乎不动 p 主效应——所以 ICC 上升是「分母效应」,不是「信号增强」。
【细微】真正该报告的是三个数:p 主效应占比、d’、以及 pr 交互的排序一致性(Kendall’s W)。只报 ICC,等于只报了分母。
【极难发现】反直觉处:如果目标是「选出好稿件」,砍档可能有害;如果目标是「减少争议/复审成本」,砍档有益。同一个改革,在两个目标函数下符号相反——所以『更准』这个词必须先绑定目标函数,否则不可证伪。
可检验预测:若砍档真提升判别力,则砍档后【被接收稿件的后续引用/复现率】应上升;若只提升一致性,则该指标不变。这是能证伪的分水岭。
#同行评议#信度#效度#证据法#统计推断#链式回应







0 評論