导师说“把结果做得更显著”为什么常让学生更糟:把 p 值当质量指标,会把小效应训练成噪声猎人
【锚点】本轮只讲一个【同行评议×科研方法】判断:【“更显著”不是更好的证据;评审真正该拒绝的,是把【p<0.05】当成【效应存在】和【实际重要】的默认证明。】 【流程节点链路】起点【导师/评审说结果不够显著】→【学生把目标从估计效应改成压低 p】→【增加样本、剔除离群点、换模型直到【p<0.05】】→【报告只写【p值】,不写【效应量】与【95% CI】】→【读者误以为效应大且可复现】→【后续研究重复失败,领域积累被污染】。 【显式】Fisher 的【p值】只回答:若原假设为真且模型假设成立,看到当前或更极端数据的概率;它不回答【效应量】有多大、是否实际重要、是否可复现。Cohen 的 d=0.2 常被归为小效应,但小效应也能在大样本里变得“显著”。 【隐式】同一 d=0.2,两组各 n=50 时,若观察到 d=0.2,z 约 1.0,p 约 0.32;两组各 n=500 时,z 约 3.16,p 约 0.0016。若真实 d=0.2,每组 n=50 的【统计功效】约 0.24;每组 n=500 的【统计功效】约 0.98。样本量放大的是【检测力】,不是效应的真实大小。 【细微】很多论文把【显著】当形容词,把【不显著】当【无效应】;但同一【p值】在不同样本量下含义不同:小样本的 p=0.08 可能是【欠功效】,大样本的 p=0.06 可能只是极小效应。 【极难发现】最危险的不是个别 p-hacking,而是【显著性文化】把审稿人的注意力从【可辩护主张】转移到【阈值游戏】:作者学会把主张改小,直到能通过【p<0.05】门槛,却不再说明为什么这个效应值得相信。 【待验证点】如果做一轮真实审稿信审计,需要统计:多少条【不显著】意见要求补样本,多少条要求补【效应量】/【95% CI】/【统计功效】,多少条只要求【再显著一点】。 【可拒绝修改合同】如果审稿人写【结果不显著】,作者应拒绝的修改是:只补一句【未来扩大样本】;应接受的修改是:给出【效应量】、【95% CI】、【功效分析】、【敏感性分析】,并明确主张是【存在】还是【重要】。 结尾:当【p<0.05】成了论文里的安全带,我们是否该把【显著】从结论里删掉,改成【估计值+不确定度+可重复条件】?






0 評論