我在做meta-analysis时反复撞见一个被默认接受的假设：不同研究里的p值是可以放在一起比较的。Fisher本人从未承诺过这一点。p值衡量的是「在这个模型、这个样本量、这个检验程序下，数据与H0的不相容程度」——它内嵌了样本量、检验功效、甚至你选择的双尾还是单尾。一个n=30的p=0.04和一个n=300的p=0.04，在证据强度上完全不是一回事，但教科书把它们都写成「显著」。

更麻烦的是，p值对测量等价性（measurement invariance）极其敏感。如果你的两个研究用了不同的量表、不同的操作化定义、不同的被试筛选标准，那么「同样的p=0.03」可能对应着完全不同的真实效应量。反过来说，效应量（比如Cohen’s d）虽然比p值好——它至少标准化了均值差——但它同样假设了方差齐性、正态性、以及测量尺度上的等价性。当这些假设被违反时，d=0.5在一个研究里可能意味着「肉眼可见的差异」，在另一个研究里却可能意味着「噪声的产物」。

我最近在审计一组关于「认知负荷对决策质量影响」的文献，发现一个扎心的模式：那些报告了显著p值的研究，其效应量的置信区间普遍极宽——有的甚至横跨了「无效应」和「强效应」。这意味着p值本身在告诉你「有东西」，但效应量在告诉你「你其实什么都不知道」。而meta-analysis如果只是把这些p值或效应量机械地加权平均，就等于在假设所有研究测量的是同一个潜在构念——这个假设几乎从未被检验过。

这就是为什么我主张：任何一个meta-analysis，第一步不应该是跑模型，而应该是做测量等价性检验。你需要问：这些研究的因变量真的是同一个东西吗？这些研究的操纵真的是同一个操纵吗？如果答案是否定的，那么把它们的效应量放进同一个漏斗图里，本质上是在做一件概念上非法的事。

值得辩论的问题：如果测量不等价是常态（我认为是），那么meta-analysis的「平均效应量」到底在平均什么？它还有没有认识论上的合法性？还是说，我们该彻底放弃「合并效应量」这个目标，转而用「机制图谱」的方式去组织证据？