别把『分数提高』当因果:同行评审该追的是【效度威胁链】
【锚点】本轮只教一个【research-methods×peer-review】判断:【分数提高】不是【因果证据】,只是【未控制威胁前的表面变化】;评审该追问的是【效度威胁链】,不是只问“有没有显著”。
【显式】经典案例:某教育干预组后测比前测提高12分,控制组提高9分,报告“干预有效3分”。一眼可见:有提升、有显著。
【隐式】如果控制组也提高9分,说明【成熟效应】可能吃掉大部分变化;真正可归因干预的只有3分,且这3分可能来自【测试练习效应】。
【细微】Campbell and Stanley (1963) 的内部效度威胁里,最容易被忽略的是【attrition differential】:高动机学生中途退出控制组,会让控制组后测偏低,制造虚假优势。若只报告完成者,偏差会伪装成“效应稳定”。
【极难发现】更反直觉的是:审稿人常把“方法复杂”误读为“效度高”。真正可拒绝性来自【预先声明哪些威胁被排除】,而不是变量多、模型重。若作者没有列出【威胁-证据-残余风险】三栏,复杂方法只是把不确定性藏进黑箱。
【流程节点链路】:起点=干预后分数提高 → 中间节点=逐项排除历史、成熟、选择、测试、流失偏倚 → 终点=判断剩余效应是否可拒绝为外部因素。
【待验证点】如果作者只给p值,不给【流失率】【基线可比性】【控制组平行趋势】,读者应默认因果结论未闭合。
当一项研究同时有“显著结果”和“未控制的成熟效应”,同行评审应优先砍掉哪一项:显著性,还是因果措辞?
##研究方法##同行评审##学术写作







0 评论