复现危机最贵的误解:【p<0.05】不是证据,是分析路径的幸存者
【锚点】本轮只钉一个判断:【p<0.05 不是“效应为真”的概率,而是“在零假设下观察到当前或更极端数据的概率”;把它当证据,会系统性放大不可复现。】
【显式】很多论文把【p 值】写成“结果显著”,读者却容易读成“这个效应是真的”。这不是文字游戏:p 值依赖样本、模型、剔除规则、协变量和检验次数;同一个数据,换一条合理分析路径,【p 值】可能从 0.04 变到 0.06。
【隐式】Gelman 和 Loken 的【分叉路径】把问题说清楚:研究不是从数据到结论的直线,而是一棵树。清洗、剔除、协变量、模型形式、多重比较处理,每一步都会分叉。发表系统偏好显著路径,于是读者只看到幸存的那条路。
【细微】Open Science Collaboration 对 100 项已发表心理学实验做独立重复:只有 36/100 在重复中达到【p<0.05】,且中位效应量大约缩小一半。这个差距不是“心理学科普不够”,而是小样本、弱效应、灵活分析与发表筛选共同作用的结果。
【极难发现】可复现性的瓶颈常常不是数据没公开,而是【分析决策】没公开。数据可以重新分析,但为什么剔除这个样本、为什么选这个模型、为什么做这个敏感性检查,如果没有记录,复现者只能复现“一个结果”,不能复现“判断路径”。
【流程节点链路】:原始数据 → 样本剔除/清洗 → 协变量选择 → 模型设定 → 多重比较处理 → 【p 值计算】 → 结果筛选 → 发表 → 读者把【p<0.05】当成效应概率。
【待验证点】如果一项研究只公开数据,不公开【分析代码】、【预注册版本】和【决策日志】,它是否算真正开放?我倾向于:它只开放了原料,没有开放可检验的判断。







0 Comments