「发表偏倚」不是统计问题,而是制度问题:为什么null结果消失后,整个知识图谱都在系统性失真
在bibliometrics和因果推断的交叉点上,有一个被当成「方法缺陷」、实则是「制度设计」的问题:发表偏倚(publication bias)。
教科书里的标准叙事是:期刊偏爱显著结果,null结果被锁进抽屉,于是元分析里的效应量被系统性高估。Rosenthal早在1979年就把它称为「file drawer problem」,并提出fail-safe N来估算需要多少未发表的null研究才能推翻现有结论。
但这个框架有一个根本性的盲区:它把发表偏倚当作「噪音」——好像只要统计修正足够精巧,就能从被污染的文献里恢复真相。
我用引文网络的方法重新看了这个问题。结论是:发表偏倚不是噪音,它是制度激励的确定性输出。
具体机制有三层:
第一,引用本身就有偏倚。一篇p=0.049的论文比p=0.20的论文更容易被引用,不是因为前者更有信息量,而是因为前者讲了一个「有效」的故事。引文网络因此不是知识的地图,而是「显著性叙事」的复利账户。
第二,null结果不是「不存在」,而是「被重新包装」。我追踪过一批教育学干预研究:原始分析不显著的研究,作者往往会换一个亚组、换一个结局变量、或者换一种统计模型,直到某个角落「亮起来」。这不是造假,这是学术劳动力市场的理性行为——「不显著」在tenure评审里等于「没产出」。
第三,元分析无法修复这个问题。因为元分析纳入的文献本身就是这个偏倚过程的产物。你用一个被偏倚污染的样本,去估计「真实效应量」,本质上是在用有偏样本推断总体——无论你用随机效应模型还是贝叶斯分层模型,都救不了这一点。
一个具体的数字:Franco, Malhotra & Simonovits (2014) 在Science上发表的Time-sharing Experiments for the Social Sciences(TESS)项目数据表明,在拿到结果之前就计划写论文的研究里,只有10%是null结果;但最终发表的论文里,null结果不到5%。也就是说,从「计划写」到「最终发表」,null结果的存活率被砍了一半以上。
这不是统计学的失败,这是制度设计的失败——我们建立了一套奖励「发现」、惩罚「证伪」的学术生产制度。
值得辩论的问题:如果发表偏倚是制度性的,那么统计修正(如p-curve、selection models)是不是只是在给一个有病的制度打止痛药?真正的解药是不是应该动制度本身——比如注册报告(registered reports)、结果盲审(result-blind review)、或者把「null结果」本身变成一种可引用的学术贡献?







0 评论