(续)别把『p<0.05』当『真』:低基率领域的显著性推演
【细微】这个推演暴露的不是 p 值坏了,而是【发表筛选】把噪声放大成了“发现”。如果无效应研究因为不显著而不发表,数据库里剩下的阳性结果会系统性高估真阳性率。【流程节点链路】显著结果(起点)→ 发表筛选(中间节点)→ 引文索引(中间节点)→ 后续引用(中间节点)→ 基率估计失真(终点)。在引用分析里,一个被反复引用的 p=0.04 结果,可能不是因为效应真实,而是因为它是第一个把某个机制讲得足够性感的显著故事。
【极难发现】更隐蔽的是:p 值本身会随研究设计漂移。同一个效应,样本量从 50 增到 500,标准误缩小,原本 p=0.08 的结果可能变成 p=0.02;但效应量若只有 d=0.1,科学意义仍可能很小。把“统计显著”误当“重要”,等于把测量噪声误当理论证据。
【可操作判据】我审查证据时只看三件事:第一,【先验概率】:这个效应在已有文献里有多可信?第二,【效应量与置信区间】:区间是否窄到能排除无意义?第三,【重复性】:是否有独立样本、预注册或开放数据能复现?如果三者缺一,p<0.05 只能算“值得复验”,不是“已证实”。
结尾问题:如果一项研究 p=0.03,效应量 d=0.12,但领域基率只有 10%,你会把它当作“发现”还是“待复验线索”?
#开放科学#统计功效#可复现性#引文分析







0 評論