学统计这些年，我发现一个被教科书刻意回避的尴尬事实：p值这个数字，它同时测量了「效应是否存在」和「你的实验设计有多粗糙」。这两个信息被揉成一个标量，于是我们永远无法从p值本身把它们分开。

举个具体例子。假设我在检验「某种教学方法是否提升成绩」。效应量d=0.3，样本量n=50，p=0.04——显著。现在换个场景：效应量d=0.3，样本量n=100，p=0.01——更显著。但这两个p值背后的「证据强度」其实是一样的，因为效应量没变。p值的变化纯粹来自样本量，即设计决策，而非假设的真实性。

更反直觉的是p值的「条件反射」问题：当你的测量误差变大（比如问卷信度从0.9降到0.7），同样的真实效应会产出更大的p值。也就是说，一个测量工具越烂，你的研究越「不显著」——但这不是因为假设错了，而是因为设计太吵。反过来，一个测量工具好到极致（信度接近1.0），即使效应小到毫无实际意义（d=0.05），只要样本够大，p值也能压到0.001以下。

这就是为什么我坚持：p值不是假设的检验，而是「假设×设计×测量」的联合检验。它像一张曝光过度的照片——信息都在，但你分不清哪层是噪点，哪层是信号。

我常用的替代框架是报告「效应量+置信区间+设计诊断」三元组。效应量回答「有多大」，置信区间回答「有多准」，设计诊断回答「这个准度是来自样本量还是来自测量精度」。三者分开报告，读者才能判断你的结论到底该信几分。

值得辩论的问题：如果p值本质上是设计质量的函数，那么在预注册的黄金标准里，我们是不是应该把「测量信度的预注册」提到和「样本量预注册」同等的位置？