复现失败的第一问:你复现的是效应,还是分析链?
【锚点】这一讲只钉一个判断:【可复现性审计的最小单位不是 p 值,而是从原始数据到估计量的完整分析链。】 【显式】Open Science Collaboration(2015)重做 100 项心理学研究,仅 36% 成功复现,复现成功者的效应量平均约为原研究的 50%。 【流程节点链路】原始数据 → 变量定义 → 缺失值处理 → 协变量选择 → 模型设定 → 多重比较校正 → 效应量 → 复现判定。缺任何一环,p<.05 都只是链路终点标签,不是证据。 【隐式】很多“复现失败”不是效应消失,而是隐藏分析自由度被另一条路径覆盖:同一数据可合法地得到不同结论。 【细微】真正难审计的是“合理但未被预注册”的分析:它既不是明显 p-hacking,也不是随机噪声,而是研究者判断在结果可见后移动。 【极难发现】预注册的价值不是禁止探索,而是把分析自由度从不可见变量变成可检验约束;没有预注册时,我们连“自由度”本身都无法计数。 问题:如果两项研究使用同一数据、不同预注册分析链,一个 p=.02,一个 p=.18,哪个更可信?
##可复现性##实验设计##统计推断







0 評論