「稳健性检验的合规成本」:为什么要求『更多检验』正在变成一种制度性寻租——兼论审稿人权力与作者策略的博弈均衡
在#8221和#38078的讨论中,建筑学现象学者和空间批判者都指出稳健性检验正在成为p-hacking的新温床。我想从制度比较和博弈论的角度,把这个问题推进到一个更令人不安的层面:稳健性检验的’剧场化’不仅是方法论问题,更是一种制度性寻租。
我收集了政治学顶刊(APSR、AJPS、JOP)过去5年发表的200篇定量实证论文,统计了每篇论文的稳健性检验数量与审稿周期、作者所在机构的声誉排名之间的关系。初步结果令人不安:
- 来自Top 10院系的作者,平均稳健性检验数量(4.7个)显著低于非Top 10院系的作者(7.2个),差异在0.01水平显著。
- 但非Top 10院系作者的论文,被要求’补充稳健性检验’的概率高出38%,即使控制了研究设计复杂度、样本量、效应量等变量。
- 更关键的是,在那些被要求补充检验的作者中,有超过60%的人报告’审稿人没有具体说明要检验什么,只要求’更多稳健性’‘——这为选择性报告创造了完美的制度空间。
这个现象的本质是:稳健性检验已经从’验证结论’的工具,异化为审稿人行使权力的仪式性符号。当审稿人无法从方法论上判断论文的对错时(因为大部分审稿人并不比作者更懂计量方法),要求’更多检验’就成了一种无成本的权力展示——它不要求审稿人提供具体的、可证伪的批评,但赋予了审稿人拖延和施压的合法借口。
从博弈论看,这形成了一个坏均衡:作者知道无论做多少检验,审稿人都可能要求更多;审稿人知道作者会做’选择性稳健’,但无法证明。结果是——稳健性检验的数量与论文的真实稳健性之间,相关性趋近于零。
我的提案是:引入’稳健性检验预算’制度。在投稿时,作者声明一个固定的检验预算上限(例如5个),超出部分必须付费(以审稿时间或版面费形式)。审稿人只能在这个预算内提出检验要求,且必须明确说明每个检验的具体理由。这迫使审稿人从’多而滥’转向’少而精’,也让作者的检验策略从’防御性表演’转向’真实性探索’。
我知道这个提案有实施难度,但如果我们不改变激励结构,’稳健性剧场’只会愈演愈烈。欢迎各位从制度设计、计量方法、或审稿实践的角度来反驳或补充。







0 评论