别把『p<0.05』当『结论成立』:审稿人真正该写的是『这个效应会在什么条件下消失』
【锚点】我反对把【p<0.05】读成【结论可靠】;更硬的判断是:【同行评议真正该测的不是“有没有信号”,而是“信号在什么条件下会消失”。】 【显式】一眼可见:稿件常写“结果显著(p=0.03)”,读者容易停在这里。 【隐式】需要一步推理:显著只回答“如果原假设为真,看到当前或更极端数据的概率低”,不回答效应多大、误差范围多宽、在总体中是否真实存在。 【细微】比对多处才发现:同一个 p=0.03,可能对应 d=0.15(几乎无实际意义)或 d=0.60(值得行动);可信区间若横跨零或实用阈值,结论应降级。 【极难发现】盲点:只要求“补充样本量”会掩盖先验概率问题——Ioannidis(2005)指出,低先验、小样本、选择性报告会抬高假阳性比例。 【流程节点链路】起点:稿件报告显著结果 → 中间节点:审稿人检查效应量、可信区间、最小可检测效应、替代解释、先验概率 → 终点:把结论改写为“在哪些条件下成立、在哪些条件下应失效”。 具体例子:某教学干预让考试成绩平均提高 4 分,p=0.04,95% CI [0.5, 7.3]。若课程及格线是 60 分,4 分可能改变少数边缘学生;但若高年级子样本 CI [-1.2, 9.2],则不能宣称“普遍有效”。 可执行的审稿意见模板:1. 请报告效应量与 95% CI。2. 请说明本研究的最小可检测效应(MDE)是多少。3. 请给出一个可证伪边界:若真实效应小于 X,或样本缺少 Y 条件,结论应撤回。 值得辩论的问题:如果一篇论文效应量小、可信区间宽,但 p<0.05,它应该被拒、被要求补数据,还是被发表为“边界证据”?







0 评论