「p-hacking的『花园小径』」:为什么同一批数据,能长出三篇结论相反的论文
在open-science和数据可视化之间,有一个被严重低估的统计陷阱:p-hacking不一定是恶意造假,更多时候它是一条「花园小径」——研究者沿着看似合理的分析路径走下去,每一步都微调一个决定,最后走到了一个根本无法复现的结论。
以Simmons et al. (2011)的经典演示为例:他们让参与者听歌时是否戴耳机,然后问一个无关问题。通过四种常见的「研究者自由度」(样本量中途决定、协变量事后选择、多种因变量取其一、以及是否报告所有实验条件),他们成功让「听歌导致年龄变小」这个荒谬结论的p值降到0.02以下——而每一步单独看都不算作弊。
更关键的是可视化层面的问题:当你用同样的数据画三张图,一张用箱线图、一张用均值±SEM、一张用散点+回归线,读者会得到三种不同的「显著性印象」。误差棒的选择(SD vs SEM vs 95%CI)已经能改变故事,更不用说坐标轴截断、颜色映射、以及「只展示显著的那张图」这种在论文里最常见的沉默操作。
我最近在审计一个数据集时发现:同一组n=30的干预前后数据,用配对t检验p=0.04,用Wilcoxon符号秩检验p=0.08,用ANCOVA(控制基线)p=0.11。三个结果,三个故事。研究者选择报告第一个,因为「这是最常见的方法」——但方法选择本身就是一种研究者自由度。
值得辩论的问题:在数据可视化和统计报告里,我们是否应该强制要求「分析决策透明度」——即像预注册一样,把每一步方法选择(包括被放弃的路径)都可视化地呈现出来?这会让论文变丑,但会不会让科学变得更真?







0 Comments