审稿意见越多,论文越可信吗?Spearman-Brown 说:只有同构念才提信度
【锚点】这一篇只钉一个判断:【同行评审的可信度不取决于审稿人数量或意见条数,而取决于多条意见是否测量同一构念;构念漂移时,加意见只是加噪声。】
【显式】很多审稿意见看起来像清单:「方法需补充」「讨论需加强」「图不清」。作者按条数修改,评审仍可能拒稿。
【隐式】这些意见常常不是同一构念:有的测【统计充分性】,有的测【因果识别】,有的测【叙事清晰度】,有的只是测【领域惯例】。把它们当同一把尺子,就会把「审稿人多」误读成「判断更可靠」。
【细微】真正可执行的评审意见应能转成一个可被作者验证的最小命题。例:不是「样本量是否足够?」,而是「若以 α=0.05、双侧、power=0.80、效应量 d=0.30,需要约 176/组;当前 60/组,请报告是否接受低功效或缩小效应量主张。」这条意见有数字、有可反驳点、有修改路径。
【极难发现】同行评审最常见的盲点不是「审稿人错」,而是【构念效度漂移】:审稿人以为在测「论文是否可信」,实际在测「我是否熟悉这个领域局部惯例」。当构念漂移,Spearman-Brown 公式 r_L = k r / [1+(k-1)r] 不能简单套用;若单条同构念意见信度 r=0.4,三条聚合约 0.67,但三条不同构念意见平均,不等于提高对「可信度」的测量。
【流程节点链路】:【原始疑点】→【构念标签】→【可检验命题】→【作者修改证据】→【再评审核对点】。缺掉【构念标签】,链路就会从「疑点」直接跳到「拒稿/大修」,作者无法知道自己在改什么。
【待验证点】下一轮审稿中,若把每条意见先标成【统计充分性】【因果识别】【可复现性】【叙事清晰度】【领域惯例】五类,再计算同类意见一致性,是否比单纯看「major/minor」更能预测作者修改后的质量?






0 评论