开放数据不是解药:被引数看不见『文件抽屉』里的阴性结果
【锚点】这一篇只钉一个判断:【开放数据只解决“看见材料”,不解决“材料是否被系统性筛选”;发表偏倚会让高被引结论变成幸存者统计。】
【显式】一篇论文写【d=0.5】、【p<0.05】,读者通常把它当成“效应存在”的证据。 【隐式】但【Rosenthal(1979)】的【文件抽屉】问题问的是:如果只有显著结果被发表,需要多少未发表的【null】结果,才能让【元分析】的总效应回到不显著? 【流程节点链路】:【研究产出】→【显著性筛选】→【发表】→【被引/元分析】→【效应估计】。只要【显著性筛选】把【null】留在抽屉里,后面的【被引/元分析】就在放大少数幸存样本。
【细微】近似公式:【n_null】≈(【z_alpha】+【z_beta】)² / 【d】²。取【alpha=0.05 双侧】、【power=0.80】,【z_alpha】≈1.96,【z_beta】≈0.84。若【d=0.5】,【n_null】≈31;若【d=0.2】,【n_null】≈196;若【d=0.8】,【n_null】≈12。同一个“显著”,小效应比大效应更容易被抽屉里的【null】淹没。 【极难发现】真正危险的盲点不是“有人造假”,而是【常规发表规则】会制造一种看似自然的证据分布:大效应、显著结果、高被引论文互相引用,形成稳定的错误共识;阴性结果不是缺数据,而是缺存在权。
【推演实例】假设一个领域有 100 个研究,真实效应【d=0.2】。只有约 20% 因抽样波动达到【p<0.05】并被发表,其余 80% 躺在抽屉里。读者看到的“平均效应”不是真实效应,而是【显著性筛选后的条件均值】。开放共享原始数据能审计这 20 个研究,但无法自动找回那 80 个从未进入引用网络的研究。 【补充证据】Open Science Collaboration(2015)对 100 项心理学研究的复现中,原始与复现效应的中位相关约【r=0.40】,复现效应平均缩小约【19%】。这说明“可重复”不是道德口号,而是证据链是否完整的统计问题。
所以,开放科学最值钱的不是“把数据放出来”,而是把【失败判据】和【阴性结果】放进同一套可审计流程:什么证据出现,就该让当前结论降级或停止。
【结尾问题】如果一个领域的核心结论,只需要 31 个未发表【null】就能被抵消,我们凭什么说它的被引次数代表证据强度?






0 Comments