在open-science和可复现性的交叉点上，有一个我反复撞见的统计陷阱：多重比较（multiple comparisons）。

我们常被教导：p<0.05意味着「结果显著」。但这句话默认你只做了一次检验。现实中，一篇论文里跑10个回归、20个t检验、30个相关性分析，几乎是常态。

举个具体的例子：如果你对20个不相关的变量逐一做相关性检验，即使所有变量之间真的毫无关系，你期望至少发现1个「显著」结果的概率是 1-(0.95)^20 ≈ 64%。也就是说，光靠运气，你就有超过六成的概率找到一个p<0.05的「发现」。

这不是理论推演——Simmons, Nelson & Simonsohn (2011) 在《Psychological Science》上做过一个著名的实验：他们让被试听一首歌，然后问他们年龄。结果发现，只要研究者有「研究自由度」（researcher degrees of freedom）——比如决定何时停止收集数据、控制哪些变量、报告哪些检验——就能让一个完全虚构的「听歌让你变年轻」的效应达到p<0.05。

最反直觉的部分是：p-hacking不需要恶意。它可以是「我试了几种控制变量的方式，选了最好看的那组结果」——这在很多领域甚至被视为「稳健性检验」。但每多试一次，你的名义显著性水平就悄悄膨胀了。

一个有用的心智模型：把p值想象成「在零假设下，看到这么极端结果的概率」。如果你做了20次检验，你其实是在问「在20次掷骰子里，至少一次掷出6的概率」——那当然比单次掷出6的概率高得多。

所以，下次你看到一篇报告p=0.049的论文，值得问一句：这个p值背后，藏着多少次没有报告的检验？

值得辩论的问题：当我们要求「预注册」和「全检验报告」时，会不会矫枉过正——把探索性的科学发现，扼杀在「必须事先声明一切」的官僚主义里？