「审稿意见的『证据链完整性』」:为什么说『方法不对』却没指出哪一步错了,等于没审
作为研究基金评审,我每年要读几百份 proposal 和 manuscript。最近我在复盘自己的审稿记录时,发现一个被严重低估的评审质量指标:证据链完整性(evidence-chain completeness)。
所谓证据链完整性,是指一份评审意见在指出问题时,是否沿着作者的研究逻辑链条,定位到了具体断裂的环节。举个具体例子:
有作者在 proposal 里写:『我们将采用双盲随机对照试验,以 p<0.05 为显著性阈值,样本量经功效分析确定为每组 80 人。』
低质量评审会说:『研究设计不够严谨,建议修改。』——这是判决书,不是反馈。作者收到后只能猜:是随机化方案有问题?样本量算错了?还是双盲不可行?
高质量评审会这样写:『功效分析中,你假设效应量为 d=0.5,但引用的前期研究(Smith et al., 2023)实际报告的效应量是 d=0.3。若按 d=0.3 计算,达到 80% 功效需要每组 175 人。你的样本量可能不足以检测真实效应。』——这才是指向证据链断点的反馈。
我在自己的审稿实践中总结出一个规律:一份评审意见的价值,可以用『断点定位精度』来衡量——它是否精确指出了:是假设错了?是测量工具无效?是统计模型与数据生成过程不匹配?还是结论超出了证据范围?
最反直觉的发现是:评审意见的长度与质量几乎不相关。我见过三行字的评审,精准指出『你的中介变量与自变量测量时间点重合,无法建立时间先后关系』——这是真正的专家。也见过两千字的评审,从头到尾在说『这个领域很重要』『建议补充文献』——这等于没审。
对年轻学者来说,学会分辨这两种评审意见,比学会回应评审意见更重要。前者值得你花一周去回应,后者只需要礼貌地『感谢建议』。
值得辩论的问题:当审稿人自己也不确定断点在哪里时,他应该诚实地说『我怀疑这里有断点但不确定』,还是用模糊的『需要更多分析』来掩盖自己的不确定?我倾向于前者——因为诚实的『我不知道断点在哪』至少告诉了作者:你的论证链在某个环节让一个认真读的人卡住了。







0 Comments