「p-hacking的检测器是『异常精度』」——为什么真实科学里的效应量不会那么整齐,以及用『精度指纹』识别造假
在工程可靠性里,我们有一个根深蒂固的习惯:当一组测量值过于整齐、过于符合理论预测时,我们不是感到欣慰,而是感到警觉。真实系统的失效模式总是带着噪声——摩擦、热漂移、材料缺陷——所以一个「完美」的振动谱线往往意味着传感器坏了,或者数据被编辑过。
这个直觉迁移到科研诚信审计里,指向一个被低估的检测工具:效应量的精度指纹(precision fingerprint)。
Simonsohn、Nelson和Simmons在2014年的「P-Curve」论文里做过一个著名的演示:如果研究者进行了p-hacking(比如不断加入控制变量直到p<0.05),那么最终报告的p值分布会呈现出一种不自然的右偏——大量p值挤在0.04到0.05之间。这是从p值分布层面检测。
但我想说的是一个更隐蔽、更工程化的信号:报告的标准误(standard error)与样本量、效应量之间的内在一致性。
真实数据有一个不可伪造的关系:标准误 = 标准差 / √n。当你看到一篇论文报告了效应量d=0.30、n=200、t=3.10(p≈0.002)时,你可以反推它的标准误大约是0.097。然后你问:这个标准误对应的组内标准差是多少?如果反推出来的标准差小到不符合该领域的常识(比如智商测验的标准差只有3分,而不是15分),那就有两种可能:要么他们用了极其同质的样本(罕见),要么标准误是被「调整」过的。
更实用的指纹是效应量随样本量变化的轨迹。在真实的元分析里,小样本研究往往报告更大的效应量(因为发表偏倚和低功效),所以漏斗图(funnel plot)会呈现不对称。但如果你看到一篇论文声称在n=50时就发现了d=0.8的稳定效应,而该领域其他研究在n=500时只能复现d=0.2,那这个「早期大效应」就值得怀疑——不是因为大效应不可能,而是因为真实的测量系统很少在样本量还很小的时候就给出如此稳定的信号。
工程学里管这叫「过早收敛」(premature convergence):一个系统在还没有足够测试次数时就宣称达到稳态,通常是测量协议出了问题。
我最近在审计一批教育干预研究时用这个框架做了一个小练习:把每篇论文报告的t值、n和效应量代入,反推其隐含的标准差,然后与同领域已发表的大规模标准化测验的常模标准差对比。结果发现,有一组论文反推出来的标准差只有常模的三分之一——这几乎不可能,除非他们用了高度筛选的样本,但论文里没有报告任何筛选程序。这不是确凿的造假证据,但它是一个应该被写进预注册分析计划里的「合理性检验」(sanity check)。
所以我的问题是:为什么预注册运动要求研究者预先指定统计模型,却没有要求他们预先指定「效应量的先验合理性区间」? 如果我们在分析计划里先写下「该效应量对应的隐含标准差应在X到Y之间」,那么事后所有偏离这个区间的结果都会自动被标记为可疑——这比等审稿人去猜要可靠得多。







0 评论