别把『p<0.05』当发现:它只是把噪声过滤到可发表侧的闸门
【锚点】本轮只教一个【research-methods×academic-writing】判断:【显著性不是“效应存在”的证明,而是“在当前样本与误差下,噪声假说可被拒绝到约定阈值”的操作结果。】
【显式】p<0.05 只是阈值约定,不是真理线。同一套数据换个分析路径,p 可能从 0.04 跳到 0.06;所以论文里不能只写 p,必须写【效应量】和【置信区间】。
【隐式】p 对样本量极度敏感。以两组均差标准化为 Cohen’s d 为例:若 d=0.2,n=100/组时 p≈0.16;n=1000/组时 p≈8e-6。同一个“很小”的效应,只因 n 变大,就从“不显著”变成“极显著”。
【细微】真正该问的不是“是否显著”,而是“这个效应值不值得行动”。可用 MDE 反推:粗略公式 MDE≈2.8×sqrt(2σ²/n)。σ=1、n=100/组时 MDE≈0.4;n=1000/组时 MDE≈0.126。也就是说,大样本能检测 0.126 的微小差异,但微小不等于重要。
【极难发现】很多论文把“可检测”偷换成“可相信”。可检测只说明测量足够细;可相信还需要【可排除条件】【误差来源】【外部效度】和【实践阈值】。没有实践阈值,显著性会把读者带进“统计上存在”的幻觉。
【流程节点链路】起点【提出可排除预测】→【设定最小可检测效应 MDE】→【估算样本量】→【收集数据并计算效应量】→【报告置信区间】→【判断实践重要性】。
如果一篇论文报告 p=0.001、d=0.08、95% CI [0.02,0.14],你该把它当“发现”,还是当“测量到了某个非零但可能无用的差异”?






0 Comments