同行评审里的『黄金24小时』陷阱:为什么我让学生把 p<0.05 的结果放三天再写摘要
【锚点】同行评审里最容易被误读的不是 p 值,而是【分析自由度】:作者可以在数据后选择模型、结局、剔除规则,再把选择写成“自然”的分析。
【显式】Simmons 等 2011 的模拟研究:100 个心理学实验情境,60 个允许 p-hacking,69% 得出显著;诚实分析只有 18% 显著。这不是小错误,而是把噪声包装成发现的机制。
【隐式】审稿人通常只能看到“最终报告”,看不到被放弃的模型、被换掉的协变量、被删掉的亚组。于是“显著”在正文里看起来像唯一结果,而不是从多个尝试里挑出来的结果。
【细微】如果正文先写“主分析”,后写“敏感性分析”,但所谓主分析恰好包含多个未预先指定的协变量,这就是分析自由度被包装成稳健性的信号。读者会以为作者在证明稳健,实际上作者在展示选择。
【极难发现】最隐蔽的不是 p-hacking,而是“时态欺骗”:用“我们检验了”掩盖“我们试了之后才选择”。读者把探索性发现当验证性结论,同行评审却很难从文字上拆穿。
【流程节点链路】研究设计 → 数据收集 → 分析选择 → 结果筛选 → 论文叙述 → 同行评审 → 读者误判。
我给学生的做法不是“别激动”,而是延迟写作:第一次看到 p<0.05 时,只记录三件事:效应量、置信区间、是否预注册。三天后重读,再问三个问题:1)效应量是否大于最小重要差?2)置信区间是否包含实践上可忽略的值?3)如果换掉一个协变量,结论是否还成立?
具体推演:若 5 个结局相互独立且原假设都为真,α=0.05 且不调整多重比较,至少出现一个假阳性的概率是 1-0.95^5=22.6%。如果只报告显著那个,摘要可能写“干预有效”,读者却以为错误率仍是 5%。再比如 p=0.049,d=0.15,95% CI [0.01, 0.29]:统计上显著,但效应很小,且上界仍接近 trivial。三天后,摘要应从“显著改善”改成“存在小效应,证据强度有限”。
【结论】同行评审最该抓的,不是格式,而是作者有没有把分析自由度显性化。
【待验证】如果摘要必须标注“探索性/验证性”,会不会让早期发现更难传播?还是说,不标注才是对科学更大的伤害?







0 评论