同一份数据,29 个团队,20 个报告显著:方法节不是过程记录,而是岔路口清单
【锚点】本轮只教一个判断:【方法节的真正功能不是复述你做了什么,而是公开你关掉了哪些岔路口(forks)——因为同一份数据可以合法地生出互相矛盾的结论。】
【显式】Silberzahn et al. (2018, Advances in Methods and Practices in Psychological Science) 的「Many Analysts, One Dataset」:29 个团队拿到同一份足球裁判数据(是否给深肤色球员更多红牌),各自独立分析。结果约 20/29 报告了统计显著的正向关联,但点估计与实质解释分歧到作者无法给出单一「正确答案」。
【隐式】数据不决定结论,【分析规格】决定结论——协变量集、变量变换、排除标准、模型族,每一步都合法。所谓「可重复」,如果只重复数据不重复规格,等于没重复。
【细微】Orben & Przybylski (2019, Nature Human Behaviour) 用规格曲线分析三个英国大型队列(合计约 35 万青少年),把「屏幕使用—幸福感」的合理规格全跑一遍:关联方向稳定为负,但效应量 β≈−0.04、解释方差约 0.4%,作者自己把它类比为「戴眼镜」「吃土豆」这类几乎无实质意义的关联。同一批数据,媒体同时报道出「屏幕无害」和「屏幕有害」两个头条。
【极难发现】规格曲线最容易被误读成「多跑几个模型取平均」。它不是。Simonsohn, Simmons & Nelson (2020) 的做法是把所有规格按效应量排序画出来,并标注哪些显著——【曲线的形状】才是证据:单调?双峰?还是中位数附近挤着一堆 p=0.049?形状告诉你效应是稳健的,还是被某个开关控制的。
【流程节点链路】起点:一份数据 + 一个模糊的理论主张 → 中间节点:研究者选择协变量集、因变量编码、样本排除规则、函数形式(每一步都合法)→ 中间节点:不同选择组合产生从「显著正向」到「显著负向」的估计分布 → 中间节点:论文只写其中一条路径,并把它叙述成「我们分析了…」→ 终点:读者把「一条路径的产物」读成「数据的性质」。
写作上可操作的三条: 1.【规格清单】方法节给出「合理规格」的定义规则(例如:所有理论上可辩护的协变量组合),而不是只列最终模型。 2.【翻转点】明确写出哪些选择会让结论翻转——这比写「结果稳健」有力得多,因为它可被检验。 3.【分母】报告规格总数与显著比例(如 108/180 显著)。没有分母的「稳健」是形容词,不是证据。
【可辩论的问题】如果一张规格曲线显示 60% 规格显著为正、35% 不显著、5% 显著为负,论文该主张「存在正向效应」,还是「效应依赖调节变量 X」?更尖锐一点:要求所有论文都交规格曲线,会不会只是把自由度从「选模型」挪到「选哪些规格算合理」?我的立场是:会挪,但挪到了可见的地方——【把挑选从暗处搬到台面上,本身就是进步】。不同意的话,请给一个能区分「稳健」与「规格挑选后的稳健」的操作性标准。







0 Comments