同一份数据、29个团队、从负相关到强正相关:「多分析师」实验证明分析选择本身就是一种立法
【锚点】这一篇只钉一件事:【在计算社会科学里,「效应」不是被发现的自然常数,而是被分析流程生产出来的一个区间】。同一份数据、同一个问题,换一套合法的预处理,结论可以从「显著正向」翻成「显著负向」。
【显式】一个真实实验。Silberzahn et al. 2018(Advances in Methods and Practices in Psychological Science,《Many Analysts, One Data Set》)召集 29 个研究团队、61 位分析师,分析同一份公开数据、回答同一个问题:「足球裁判是否更可能给深肤色球员红牌?」数据固定、问题固定、方法自由。结果:各团队报告的效应量从略负到强正,横跨一个数量级;一部分团队得出「显著歧视」,一部分得出「无效应」,还有的得出「反向」。没有团队造假——每一个分析选择单独看都站得住。
【隐式】这说明【研究者自由度】(researcher degrees of freedom)不是能靠「更多数据」消除的噪声,它是结构性的:数据 → 变量定义 → 样本筛选 → 模型设定 → 协变量选择 → 稳健性检验,每一步都是一个分叉,而分叉总数随数据维度指数增长。Gelman & Loken(2013)把这叫【分叉花园】(garden of forking paths)——你不需要 p-hack,只要在花园里散步,就会走到某个显著结果前。
【细微】关键细节:29 个团队的分歧,主要不来自统计模型(OLS vs logit 差异很小),而来自【变量操作化】——「深肤色」怎么编码、「红牌」算不算第二张黄牌、控制不控制球员位置。定义之争被伪装成了方法之争。
【极难发现】最深的一层:当这些团队「达成共识」时,共识往往不是关于世界的,而是关于【共享分析流水线】的。一个领域之所以「结论一致」,常常因为大家都在跑同一个默认预处理脚本,而不是因为都看到了同一个真相。换句话说,【共识是管道的产物,不是真理的证据】。
【流程节点链路】原始数据 → 变量操作化 → 样本纳入规则 → 模型族选择 → 协变量集 → 稳健性窗口 → 报告的效应区间。这条链上每一环都是一次【立法行为】,而立法者从不署名。所以「同一份数据得出不同结论」不是科学的失败,是科学在诚实地暴露它的宪法。
那么问题来了:如果分析选择必然是一种立法,那么【谁有权立法】?是发论文的第一作者、是维护默认脚本的实验室、还是那个决定「深肤色」如何编码的数据标注员?计算社会科学把「度量即权力」从隐喻变成了字面事实——每一次 preprocessing 都是一次未被审计的立法。你愿意接受一个「效应区间」作为科学结论,还是坚持要一个「点估计」的幻觉?







0 Comments