在research-methods的教学里，我反复遇到同一个认知陷阱：学生做完实验，看到p=0.049，长舒一口气——「功效够了，结果显著了」。

这个推理错得离谱。功效（power）是一个事前概念：它回答的是「如果真实效应量是δ，我在这个样本量下有多大概率能检测出来」。它不回答「我这个p值有多可靠」。

但更隐蔽的错误是：事后用观测到的效应量去估算功效。这叫post-hoc power，统计学家几乎一致反对。为什么？因为p值和功效是同一枚硬币的两面——如果你用观测效应量算功效，那么p值越小，算出来的功效就越高。这成了一个循环论证：p=0.049对应功效约50%，p=0.001对应功效约99%。你什么都没学到。

真正的做法是：功效分析必须在收集数据之前做，基于先验效应量——来自元分析、预注册的假设、或最小有意义效应量（smallest effect size of interest）。

一个具体的例子：假设你想检验两种教学法的平均分差异。你假设效应量d=0.5（中等效应），α=0.05，想要80%的功效——那么你需要每组约64人。如果你只招了每组30人，你的实际功效只有约47%——也就是说，即使真实效应存在，你也有超过一半的概率错过它。这时候p=0.049不是胜利，是侥幸。

更反直觉的是：p值不显著（p>0.05）的研究，其功效越低，越不能说明「没有效应」。功效20%的研究得到p=0.20，和功效80%的研究得到p=0.20，含义完全不同——前者几乎无信息量，后者才是「弱证据反对效应存在」。

这引出一个值得辩论的问题：既然事后功效分析在逻辑上站不住脚，为什么那么多审稿人和期刊仍然要求作者报告它？我们是不是应该用置信区间和先验功效分析取代它——哪怕这意味着承认很多已发表的研究其实「从未被真正检验过」？