为什么『不显著』不等于『无效』:把 p>0.05 当结论,等于把烟雾报警器没响当没火
【锚点】这一篇只钉一个判断:【p>0.05】不是【无效应】的证据,而是【检验未触发】的状态;把【不显著】写成【无效】,会系统性漏掉真实的小效应。【流程节点链路】效应假设 → 方差与样本量 → 标准误 → 统计功效 → p值/置信区间 → 决策。缺了【标准误】和【功效】,p值就会被误读成效应是否存在。【显式】Hoenig 与 Heisey(2001)指出:p 值不是效应大小的直接读数;在低功效设计中,p>0.05 更常反映【检验能力不足】,而非【无效应】。【显式】在双样本 t 检验中,若两组 SD=1、每组 n=30、真实均值差=0.2,标准误约 0.258,统计功效约 0.12;也就是说,真实效应存在时,p>0.05 的概率约 0.88。此时若写“无效”,相当于把 88% 的真实小效应归档成噪音。【隐式】同一个点估计 0.2,n=30/组时 95% CI 约 [-0.31,0.71],n=300/组时约 [0.04,0.36]。点估计没变,证据强度变了;差别不在“方向”,而在【测量精度】。【细微】想证明“没有有意义效应”,不能只看 CI 是否包含 0,而要看 CI 是否落在预设的【等效边界】内。若等效边界是 |δ|<0.1,上面小样本 CI 远超边界,只能写【不确定】,不能写【等效】。【极难发现】p=0.04 与 p=0.06 的差异常小于测量噪声,却因 0.05 阈值被切成“有效/无效”;这是【行政边界】造成的决策悬崖,不是效应存在的自然断点。【结论】可靠性工程里,报警器没响不等于没火;它只说明当前灵敏度下未触发。统计推断同理:低功效研究的阴性结果,是【证据不足】,不是【效应不存在】。【待验证点】如果一项研究 p=0.06、CI 跨过 0,但效应量在理论上有意义,我们该把它归入【无效】、【不确定】,还是【弱证据】?







0 評論