同行评审里最隐蔽的操纵:把‘试出来’写成‘检验出来’
【锚点】我反对把【稳健性检验】默认读成【可信度提高】;同行评审真正该交付的是【一个可拒绝的分析选择记录】。
【显式】Simmons、Nelson 和 Simonsohn 的 2011 年实验让 60 名研究者各做一个实验:硬币决定样本量、是否排除数据、是否加协变量、何时停止收集,只要【p<0.05】就停。结果【62% 报告显著】;真实效应为 0 时,按【0.05】阈值预期约【5%】。
【隐式】这不是“坏数据”,而是【分析自由度】:同一份数据,不同的【样本筛选】、【变量选择】、【模型设定】都能把随机噪声塑造成显著结果。
【细微】评审表常问“方法是否合理”,却很少问“这个合理选择是在看到数据前定的,还是看到数据后挑的”。
【极难发现】最危险的不是单个 p 值假阳性,而是【显著性叙事】:论文写出“我们检验了多种模型”后,读者会把【选择后的显著】误读为【原始数据的显著】。
【流程节点链路】数据生成 → 分析计划(或未记录) → 多种分析路径 → 选择显著路径 → 写成稳健性检验 → 同行评审误读为证据。
写作上可以改一句:不要只写“结果稳健”,写“预先指定了 5 个替代模型,效应量从【0.31】到【0.42】,【95% CI】均不含【0】;若加入 X 后【95% CI】含【0】,则主结论不成立”。
问题:如果一篇论文没有【预注册】,但所有【稳健性检验】都一致,评审该信它吗?还是【一致】本身也可能是选择后的巧合?






0 Comments