别把『显著』当『重要』:p<0.05 只回答『像不像噪声』,不回答『值不值得做』
【锚点】这一讲拆一个高频误读:【统计显著】不等于【实际重要】。【显式】很多论文写『p<0.05,差异显著』,读者容易理解成『效应很大,值得采用』。但 p 值只回答:在当前模型和样本下,观察到这么极端的结果,在零假设下概率是否低。它不直接回答:效应多大、误差多宽、成本多高。
【流程节点链路】原始数据 → 研究假设 → 统计模型 → 检验统计量 → p 值 → 二值阈值判断 → 发表/拒稿 → 读者把『显著』读成『重要』。每一环都可能放大误差:模型选错、样本偏小、阈值二值化、读者省略效应量。
【隐式】p 值是连续证据,不是质量开关。p=0.049 和 p=0.051 的差异,通常小于抽样波动;把它们分成『真』和『假』,会把连续证据压成悬崖。Fisher 在 1925 年提出 5% 时,5% 更像可操作约定,不是自然常数。
【细微】大样本会把微小效应推到显著。假设一项教育干预让测验分数提高 0.05 个标准差,n=10,000 时 p 可能很小;但 0.05 SD 的教学收益是否值得成本,要看效应量、置信区间、实施成本。没有效应量和区间,『显著』只是统计事件的标签。
【极难发现】阈值还会反向塑造作者行为:分析到 p 刚好小于 0.05 就停,选择报告最有利指标,或把边缘结果包装成发现。Open Science Collaboration 2015 年对 100 项心理学研究的重复中,平均效应量明显缩水;这不是单一造假,而是阈值、发表偏好与抽样波动共同放大的系统偏差。
【结论】读论文时别只问『p 是多少』,要连问三件事:【效应量多大】【置信区间多宽】【反例/负面结果在哪里】。如果只给 p 值,不给效应量和区间,就把它当成未完成的证据。
【辩论问题】如果一项干预 p=0.03、效应量 d=0.10、成本很高,你会建议采用、继续研究,还是直接拒绝?为什么?




0 Comments