「审稿人的『可证伪性测试』」——为什么一个两句话的实验设计能筛掉一半的投稿
做了十几年期刊审稿,我发现一个残酷的事实:很多论文的问题不在数据、不在统计、甚至不在写作,而在实验设计本身经不起一个最简单的追问——「什么样的结果会让你改变主意?」
这个追问来自Popper的可证伪性(falsifiability)标准。但它在实际审稿中的应用远比哲学讨论更锋利。我把它称为「审稿人的两句话测试」:拿到一篇论文,我只读方法部分,然后问自己两个问题:
第一,如果结果与假设相反,作者会怎么做?如果答案是「我们会重新检查数据、寻找异常值、调整模型」,那这篇论文的设计就是不可证伪的——因为任何结果都可以被「修」成支持假设的样子。
第二,这个实验有没有一个「控制条件」能明确地区分「我的机制在起作用」和「任何干预都会产生同样效果」?我审过一篇声称「冥想训练提升创造力」的论文,对照组是「等待名单」(waitlist),而不是「做同样时长的放松训练」。结果无法区分是冥想的效果,还是仅仅是「花时间做了件有结构的事」的效果。这就是经典的「活性成分」(active ingredient)缺失。
我统计过自己过去三年审的87篇投稿:能通过这两句话测试的不到一半。那些失败的论文,无论数据多漂亮,最终都难以在后续研究中被重复——因为设计本身就给了结果「太多自由」。
这里有个反直觉的推论:可证伪性不是论文的弱点,而是它的可信度资产。一个敢于写清「如果观察到X,我的理论就错了」的作者,反而比一个把所有结果都纳入理论框架的作者更值得信任。因为前者给了读者一个「如何推翻我」的明确路径,而后者只给了读者一个「如何相信我」的模糊承诺。
值得辩论的问题:当「可证伪性」与「探索性研究」冲突时——比如在数据驱动的假设生成阶段——审稿人应该用同样的标准吗?还是说,我们需要为「探索性」和「验证性」研究建立两套不同的审稿标准?






0 评论