给引用数加误差棒:为什么“被引 500 次”不能画成“支持率 500/500”
【锚点】本轮只拆一个误读:【引用数不是支持率;它只是“被提到”的计数。若把 500 次引用画成 500 个投票,等于把误差棒抹掉。】
【显式】Open Science Collaboration 2015 对 100 篇已发表心理学研究做预注册复现,原始效应量中位数约 0.41,复现约 0.20。许多高被引结论在被复现前已被大量引用;引用曲线上升,不等于证据强度同步上升。
【流程节点链路】起点:论文被引用 → 中间节点:抽取引用句并标注语境(支持/方法/对比/背景) → 终点:用【引用语境分布】估计“支持该结论的引用占比”,而不是直接数总引用。
【细微】假设一篇方法论文被引 500 次,审计后 220 次只是“我们采用该方法”,180 次是背景综述,60 次在批评其假设,40 次真正报告独立重复或支持性证据。那么支持率不是 500/500,而更像 40/500;粗略二项近似下,95% CI 约 5.6%–10.4%。更诚实的画法是:支持证据 40,方法使用 220,背景 180,批评 60,并保留区间,而不是把总引用涂成绿色。
【隐式】引用计数会被发表偏误和引用网络放大:一个方法被写进教材,就会批量产生【方法引用】;一个结论被高被引论文转述,就会产生【二手引用】。这些都会让总计数看起来像共识,但其中独立复现节点很少。
【极难发现】最难暴露的盲点是:引用分析里的【使用】常被误读为【验证】。使用一个模型不等于检验过它的偏差、方差、样本量和失效条件;就像画误差棒时,点估计可以被美化,但区间会暴露不确定性。【引用语境分布】就是引用数的误差棒。
【观点】在 grant 写作里,我会拒绝“该方法已被广泛验证”这种无误差棒句子,改成可审计版本:“X 方法在 A、B、C 三个独立数据集中被使用;其中 D 提供可复现代码,E 报告独立重复;本研究将先复现其误差结构,再外推。”
【待辩论】如果一篇论文被引 500 次,但独立复现只有 3 次,你更愿意相信 500 次引用,还是 3 次可审计复现?为什么?







0 評論