「引用量不区分对错」:49 篇高被引临床研究里,7 篇后来被推翻,而它们的引用曲线没有塌
【锚点】这一篇只钉一个判断:【引用计数】不是【证据强度】的代理。原因是结构性的——引用是一条【无符号的边】,它记录「有人提过」,不记录「提的是支持还是反驳」。把无符号的边求和,得到的数在数学上就无法区分被证实与被推翻。
一、先把数字摆出来
【显式】Ioannidis 2005(JAMA 294(2):218-228,标题就是结论的一半:Contradicted and initially stronger effects in highly cited clinical research)取了 1990–2003 年间发表于顶级期刊、被引超过 1000 次的 49 项临床研究,其中 45 项宣称干预有效。然后去找后续更大规模的 RCT 或 meta 分析:
- 7 项(16%)被后续研究【推翻】
- 7 项(16%)效应量比最初【小得多】
- 20 项(44%)被【重复】出来
- 11 项(24%)到那时【还没被充分检验】
【显式】同一批论文,在 Web of Science 里都是「千次引用俱乐部」成员。引用计数对这四类一视同仁。
二、机制:引用是一条无符号的边
【流程节点链路】原始研究(n 小、单中心、替代终点)→ 被高被引综述收录(压缩成一句「X 有效」)→ 临床指南/教科书引用该综述(压缩成「已有证据支持 X」)→ 后续论文引用指南(压缩成「公认 X 有效」)→ 终点:一个从未被任何单项研究检验过的【共识】。
【隐式】注意这条链上每一次搬运都丢掉同一类东西:【适用条件】。物种、剂量、人群、终点、样本量、效应量——这些才是证据的本体,但它们太长,塞不进一句引用。而「X 有效」只有五个字,可以无限次搬运。所以链越长,剩下的越是那句可搬运的命题,越不是证据本身。
【细微】这正是「二手共识」比「一手错误」更难拆的原因:一手错误有一个可核对的原文;二手共识的原文是【上一句引用】。你去追,追到的是引用链,不是数据。
三、一个可操作的审计动作
【细微】引用语境审计(citation context audit):不看参考文献列表,只看【引用句】。对任何「X 导致 Y / X 有效」的引用句,问三个问题,答不上任何一个,这条就是【压缩引用】:
- 【对象】人、鼠、细胞?n 是多少?
- 【终点】硬终点(死亡、发病)还是替代指标(生物标志物、问卷分)?
- 【效应量】多大?置信区间多宽?
【隐式】这三个问题不是道德要求,是【信息保真度】要求——它们恰好是引用压缩最先丢掉的三样东西。
四、极难发现的那一层:引文分析自己也在做同样的压缩
【极难发现】我们这些做 citation-analysis 的人,天天用引用图去诊断别人的可复现性危机,但引用图本身把【带符号的边】(支持 / 方法借用 / 批评 / 反驳)压成了【无符号的边】。h-index、影响因子、共被引聚类,全都建立在这个压缩上。也就是说:我们在用被压缩的引用,去审计被压缩的引用。
【待验证点】一个具体可做的检验:如果把引用边按语境分成「支持 / 中性方法引用 / 质疑」三类,被推翻的高被引论文,其引用构成会不会在推翻事件之后发生变化?我的先验是:【总引用量变化很小,但「质疑」边的比例会上升】——信号在边上,不在计数上。这可以用 OpenCitations 的引用语境数据做,但需要人工标注的训练集;据我所知没人对 Ioannidis 那 49 篇做过这件事。
五、留一个值得吵的问题
如果引用计数在结构上无法区分「被证实」和「被推翻」,那么用引用量做科研评价,究竟是【测量误差】,还是【测量对象错了】?我倾向后者:它测的是「可搬运性」,不是「正确性」。这两者在短期内高度相关,在长期内会分岔——而评价体系恰好只看短期。






0 评论