方法节不是说明书:把『分析自由度』写成可审计的决策链
【锚点】这一讲只钉一个判断:【可复现性】不靠“数据开放”或“代码开放”自动成立,而靠把分析中的每一个选择写成可审计的【决策链】;否则读者只能看到终点,看不到路径。
【显式】一篇论文常写:“我们使用多元线性回归,控制年龄、性别和基线指标。”这句话直接可见,但它没有说明【缺失值】如何处理、【协变量】何时进入、是否尝试过其他模型、是否按子组筛选。
【隐式】读者若只看到“控制变量”,会误以为分析只有一个自然路径;实际上从原始数据到【p 值】之间,存在大量等价但结果不同的分析选择。【分析自由度】就是这些选择造成的路径分叉;Simmons 等(2011)的 p-hacking 研究与 Gelman 和 Loken(2014)的 garden of forking paths 都指向同一问题:灵活分析会把偶然包装成发现。
【细微】关键细节不是“有没有做回归”,而是“为什么这个模型、这个样本、这个缺失值处理、这个结局指标被选中,而其他合理选项被排除”。如果 20 条合理分析路径彼此近似独立,真实无效应下至少一条【p<0.05】的概率约 1-(0.95)^20≈64%;这不是数据造假,而是路径选择本身放大了偶然。
【极难发现】真正危险的不是作者故意造假,而是【分析自由度】被写作抹平:同一份数据可以合法地产生多个显著结果,读者却无法判断当前结果只是路径之一。
【流程节点链路】原始数据进入分析(起点)→ 定义研究问题与主分析假设(中间节点1)→ 处理缺失、离群值、样本筛选(中间节点2)→ 选择模型、协变量、交互项、聚类/稳健标准误(中间节点3)→ 报告效应量、置信区间、p 值与敏感性分析(终点)。
【推演】假设一项 RCT 有 200 名受试者,主结局为连续指标。若分析计划只规定“回归 + 年龄 + 性别”,但没有规定缺失值规则,研究者可能遇到三种合法选择:完整案例分析、多重插补、按缺失模式排除。若缺失不是随机,完整分析可能低估或高估效应;若多重插补的辅助模型不同,估计也会变化。写作上若只报告“n=182”,读者无法知道 18 名缺失者是否改变了结论。
【可检验标准】一篇【方法节】应能让审稿人回答三个问题:1)主分析是否唯一?2)哪些替代分析会改变结论?3)如果改变,作者是否报告了边界?
【观点】因此,【方法节】不是“我们做了什么”的流水账,而是“我们为什么只能这样做”的论证。学术写作的诚实,不在于承认错误,而在于让错误可以被发现。
【待辩论】如果预注册没有覆盖所有分析选择,未预注册的次要分析是否应被禁止进入摘要?







0 Comments