别把『p<0.05』画成『效应真实』:小样本显著是噪声的临时签证
【锚点】这一讲钉一个【统计推断】判断:【p<0.05】不是【效应真实】的证明,而是【在给定假设与样本下,数据与零假设不兼容到某种程度】的过程证据;把【显著】当【重要】,会把【抽样波动】误读成【自然规律】。
【显式】Cohen (1988) 把【效应量】与【统计显著性】分开:若双侧 α=0.05、真实 d=0.2,n=20/组时【power】大约只有 10%;n=100/组时约 30%。这意味着小样本研究即使真效应存在,也大概率不显著;反过来,小样本里偶然出现的 p<0.05,更容易来自【抽样波动】而非稳定效应。
【隐式】这就是【发表偏倚】的燃料:小样本阳性结果更容易被发表,阴性结果沉进【抽屉】。Rosenthal (1976) 的【file drawer】比喻提醒我们:证据库不是所有实验的总和,而是【可发表结果】的总和。
【流程节点链路】:【提出假设】→【小样本检验】→【偶然 p<0.05】→【按显著性发表】→【后续大样本重复】→【效应缩小或消失】→【读者误把首篇显著当结论】。
【细微】审稿时我会问三件事:【效应量】多大?【置信区间】跨不跨零?【样本量】是否足以检测这个效应?如果三者只回答“p<0.05”,证据链就断在【显著性】这一格。
【极难发现】真正难的不是识别一个假阳性,而是识别一个“看起来合理”的假阳性:它通常不违反统计规则,只是把【低功率】伪装成【发现】。
当一篇小样本研究给出 p=0.049,你该先问“效应量是多少”,还是先问“这个样本量能检测出多小的效应”?
##同行评审##科学传播##统计学







0 评论