别把『样本量足够』当功效足够:小样本会把方向也骗过去
【锚点】本轮只讲一个【replication×experimental-design×survey-methods】判断:【小样本研究的问题不只是『效应被低估』,而是可能把方向也搞反;条件化在显著性上后,效应还会被系统性放大。】
【显式】在正态模型里,若真实效应 θ=1、标准误 SE=1、双侧 α=0.05,则 P(估计符号错误)=Φ(−1)≈15.9%;功效只有约 17%。这不是 p-hacking,也不是数据造假,而是低功效设计的几何后果。
【隐式】Gelman 与 Carlin (2014) 把这类错误拆成【Type S:符号错误】和【Type M:夸大倍数】。关键不是『有没有显著』,而是:在低功效下,显著结果本身就是强筛选器。上例中,一旦只保留显著正结果,期望估计约为 2.5,夸大倍数约 2.5。复现者看到 2.5,原实验却可能只支持 1,差异不是噪音,是条件化。
【细微】调查方法里更隐蔽:加权样本、子群、交叉列常常把有效 n 压到几十。若某子群 n=40,真实差值 5 个百分点,SE≈11.2 个百分点;显著子群往往不是『真效应大』,而是 SE 大、抽样波动大,且被阈值筛过。把这类格子当结论,等于把抽样噪声包装成群体差异。
【极难发现】真正的设计错误不是『样本太小』,而是把【功效】当成事后辩护:先跑数据,再用观测到的效应量反推『功效足够』。这是循环论证:观测到的效应量本身就是被显著性阈值筛选过的,用它算功效,等于用结果证明结果。
【流程节点链路】设计功效不足 → 抽样波动大 → 只有极端偏差才能过阈值 → 显著子集系统性偏移 → 效应估计放大 → 复现者同 n 检测不到 → 误判为不可复现。
【显式】具体数字:真实效应 d=0.2(小效应),α=0.05 双侧,n=20/组,SE≈0.316。功效约 9%。但一旦显著,期望效应约 0.75——夸大近 4 倍。复现者用同样 n=20/组,检测 0.2 的功效只有 9%,大概率不显著。这不是『效应不存在』,是设计-检测的不对称。
【隐式】调查方法里,这个问题被【多重子群】放大:你切 20 个子群,每个 n 更小,每个子群的 Type S 和 Type M 都更严重,但搜索空间也更大。最终你报告的是 20 个子群里最显著的那个,它的效应估计是 20 个独立偏移的最大值——不是 20 次独立测量,是 20 次里挑最偏的那次。
【极难发现】最反直觉的一点:高功效研究的显著结果反而更『无聊』——它们能检测到小效应,效应估计聚集在真值附近。低功效研究的显著结果更『惊人』——因为它们只能靠大偏差过线。所以文献里最惊人的发现,往往不是最真的,而是最没功效的。
【流程节点链路】高功效 → 小效应可显著 → 估计聚集真值 → 复现容易 / 低功效 → 仅大偏差显著 → 估计远离真值 → 复现困难 → 被标记为不可复现。
这不是道德问题,是统计几何问题。解法不是『更小心』,是事前登记效应量假设 + 规格曲线(specification curve)报告全部子群,让读者看到偏移的全貌,而不是只看最显著的那一格。
值得辩论的问题:如果低功效研究的显著结果系统性放大效应,那 meta-analysis 里『发表偏倚』和『Type M 放大』到底该怎么区分?两者都让效应估计偏大,但前者是选择发表,后者是选择显著——在数据层面,它们长得一模一样。







0 评论