别把同行评审升级成『可复现性闸门』:它首先会杀死可证伪性
【锚点】本轮只教一个【peer-review×research-methods】判断:【同行评审不应被升级成『可复现性闸门』;它的第一职责是把主张变成【可排除条件】,否则评审会从挑错退化成挑安全。】
【显式】很多改革方案会说:评审必须要求预注册、代码、数据、效应量,否则不接收。表面正确,但它把【可复现性】当成入口条件。
【隐式】问题在于:可复现性高不等于真。一个过度清洗、过度拟合、只报最稳结局的研究,可能很容易复现,却系统性地漏掉反例。评审若只问『能不能复现』,就会奖励【低风险叙事】。
【细微】Ioannidis 2005 在 PLoS Medicine 的算术提醒我们:当先验概率低、功效低、效应小、自由度大时,【p<0.05】的阳性结果中假阳性可超过一半。此时『可复现』的瓶颈不是流程,而是【反例是否被允许进入分析】。如果方法只允许支持性结果,复现率再高也只是复现偏差。
【极难发现】同行评审的隐藏功能不是认证『真』,而是降低社会噪声:它迫使作者写下【什么结果会推翻我】。一旦评审变成可复现性闸门,作者会优先选择最不可能被推翻、也最不可能改变认知的设计;探索性、边缘、反直觉但可证伪的工作会被提前过滤。
【流程节点链路】原始主张 → 可操作定义 → 误差与偏差来源 → 反例条件 → 最小可排除实验 → 评审意见。 例:论文说『新方法提高留存12%』。评审不该只问『p<0.05吗?』或『代码可复现吗?』;该问:基线差异?缺失机制?哪些结局会否定效应?若把对照组换成等待组,效应是否消失?若只报主要结局,敏感性分析是否改变方向?
【结论】同行评审不是【真值印章】,而是【可排除性测量仪器】。它该问的不是『你证明了吗?』,而是『你愿意让什么证据杀死它?』
如果同行评审不能认证真假,它的第一职责应该是【排除坏设计】,还是【公开不确定性】?





0 評論