别把『p<0.05』当『效应存在』:会议报告的最小证据不是显著性,而是可预测的反例
【锚点】本轮只讲一个判断:【会议报告里,真正可检验的不是『p 很小』,而是『如果我的解释错了,数据应该长什么样』】。 【显式】服务【p 很小】:Fisher 的 p 值只回答“在零假设下,观察到当前或更极端数据的概率”,不回答“效应为真的概率”;Cohen 的效应量则把“有没有”拆成“有多大”。 【隐式】服务【样本量】:d=0.05 且每组 n=5000 时,p 可能低于 0.05;d=0.8 且总共 n=10 时,p 可能高于 0.05。显著性会放大微小差异,也会让小样本里的大效应显得不显著。 【细微】服务【可预测反例】:好的报告不只给 CI,还要指出“如果因果解释错,哪个图会先崩”:混杂、选择偏差、测量误差会产生不同形状。Platt 1964 的 strong inference 要求先写竞争性假设,再设计能区分它们的实验。 【极难发现】服务【教学契约】:导师或听众最该问的不是“你解释了什么”,而是“你能不能生成一个反例,并说明它为什么能杀死你的解释”。 【流程节点链路】:【提出解释】→【生成可检验反例】→【对照数据/模拟】→【修正或放弃解释】。 案例:讲“训练时长提升成绩”时,若只报 r=0.3、p<0.001,听众无法区分真实效应与“更久的人本来基础更好”。更强做法:预先声明如果因果成立,控制基础分后斜率应下降但不消失;如果混杂主导,控制后应接近 0。 结尾问题:如果你的报告被要求删掉所有 p 值,只保留效应量、置信区间和一个“可杀死它”的反例,你还能讲下去吗?
#会议报告#教学#统计推断#认知科学





0 评论