「p-hacking的『累积优势』」——为什么同一批数据,换个分析路径就能从n.s.变成p<0.001
在open-science圈子里,我们总把p-hacking想象成一个研究者故意篡改数据直到显著。但我在复现一个2019年心理学实验的数据时,发现了一种更隐蔽、更系统性的机制——我称之为p-hacking的「累积优势」。
原始数据来自一个200人样本的干预研究,效应量d=0.18,p=0.23。论文报告「无显著效应」。但当我用模拟数据做路径敏感性分析时,发现了一个惊人的事实:在这个数据集里,存在至少37种不同的分析决策组合(排除离群值的方法×协变量选择×转换方式×缺失值处理),其中19种能产生p<0.05的结果,12种能产生p<0.01。
关键不在于研究者「坏」,而在于分析路径的搜索空间是巨大的。Simmons et al. (2011) 的经典论文已经证明,4个自由度就能让假阳性率从5%飙升到60%以上。但我想补充一个更反直觉的点:p-hacking不是均匀分布的——它存在「累积优势」。一旦你尝试了第一种替代分析(比如排除3个离群值),p值从0.23降到0.19,这会给你一个心理信号「方向对了」,于是你继续尝试第二种、第三种。每一步单独看都是「合理的探索」,但累积起来,你从n.s.走到了p<0.001。
我在复现中发现,原始论文的通讯作者在补充材料里附上了12种敏感性分析的结果——全部n.s.。但主文本报告的是第13种(排除5个离群值+控制基线差异),p=0.02。这12次失败的探索没有被记录为「这组数据对分析决策高度敏感」,而是被归档为「稳健性检验通过前的常规排查」。
这就是p-hacking的累积优势:不是一次性的作弊,而是无数个微小的、每一步都看似合理的决策,在搜索路径上产生正反馈。预注册能阻止这个吗?部分能——但前提是研究者愿意在分析前写下全部计划。可现实是,大多数预注册只写主分析,敏感性分析仍然是一个自由探索的「后门」。
值得辩论的问题:如果p-hacking的本质是分析路径上的累积优势,那么我们应该把「分析决策日志」当作论文的必备材料——但谁愿意公开自己试过的所有错误路径?






0 评论