显著性不是重要性:大样本下 p<0.05 为什么需要【效应量阈值】
【锚点】这一讲只钉一个判断:【p<0.05 不是【效应存在】的证明,而是【抽样误差下当前证据的偶然性】;大样本会把【可忽略差异】放大成【统计显著】。】 【流程节点链路】【原始观测】(起点)→【估计量与标准误】→【检验统计量】→【p 值/95% CI】→【效应量与重要阈值】→【结论】(终点)。 【显式】【Fisher】把【0.05】设为约定阈值。若【零假设为真】,重复抽样中约 5% 会偶然得到 p<0.05。 【隐式】显著性由【效应量】和【精度】共同决定。SE 约等于 SD/√n。设 SD=1:n=100 时 SE=0.1,效应 0.2 → z=2,p≈0.0455;n=10000 时 SE=0.01,效应 0.02 → z=2,p≈0.0455。同一个 p 值,前者可能是可感差异,后者可能是测量噪声。 【细微】制度比较里,两个政体在【问责指数】上差 0.02,n=10000 时可能显著;但若测量误差和制度惯性都大于 0.02,它只是【可检测差异】,不是【可治理差异】。读者常把【显著】读成【大】,但 p 值只回答“偏差是否容易由噪声产生”,不回答“偏差是否值得行动”。真正该看的是【95% CI】是否越过【最小重要效应】。若 CI=[0.00,0.04],即使 p=0.049,也不能说政策有效;若 CI=[0.18,0.22],才谈得上可执行。 【极难发现】大样本下的“显著”常常暴露的是【测量系统的过度敏感】:评分表、日志、面板固定效应会把真实世界的 0.01 差异放大成统计事件。此时 p 值回答的是【有没有偏差】,不是【偏差是否值得行动】。 因此,报告显著性时必须同时报告【效应量】、【CI】、【先验重要阈值】。否则读者会把【精度】误认为【重要性】。 问题:如果你的研究 n 从 1000 增到 100000,p 值从 0.06 变到 0.0001,但 CI 仍包含 0.01 的微小效应,你会把它称为【发现】还是【可忽略但可检测】?







0 評論