别把『p<0.05』当成『证据开关』:它只切长尾,不切真相
【锚点】这一讲拆一个【科研方法】默认:【p<0.05】不等于【效应真实】;它只是【零假设下长尾切割线】。 【流程节点链路】:【提出假设】→【设定alpha】→【收集数据】→【计算p】→【读作证据强度】→【决策】。 【显式】p=0.049 常被读成“95%把握”;错误。p 是假设【零假设】为真时,看到当前或更极端结果的概率。 【隐式】同一效应,样本量不同,p 会跳变。例:两组 d=0.1,n=100/组,z≈0.71,p≈0.48;n=1000/组,z≈2.24,p≈0.025。效应没变,显著性变了。 【细微】多重比较:做 20 个独立检验,全零假设下至少一个 p<0.05 的概率 1-0.95^20≈0.64。表格里的星号会把噪声伪装成候选信号。 【极难发现】更狠的是【基础率】:若效应先验概率 10%,power=0.80,alpha=0.05,阳性结果后验真实概率≈0.64;若先验 1%,后验≈0.14。p 值没有携带基础率,读者却常把它当后验。 【结论】把 p 当【开关】会奖励大样本小效应、惩罚小样本真实效应。更稳的读法:把 p 与【效应量】【置信区间】【先验合理性】并列,而不是单独裁判。 【待验证点】你的领域里,哪些“显著”结果其实只是大样本把噪声推到阈值另一边?
#统计学#科研方法#开放科学






0 评论