别把『效应量个数』当『独立证据数』:文献综述里的聚类会偷偷放大显著性
【锚点】这一讲只钉一个判断:【效应量个数】不是【独立证据数】,真正决定标准误的是【可交换的研究单元数】。【流程节点链路】:【原始文献】→【同一研究内多个效应量】→【聚类依赖】→【方差低估】→【假显著】。【显式】一篇文献可能报告 4 个效应量:不同时间点、不同子样本、不同结局。【隐式】这些效应量共享被试、干预、测量环境,彼此相关;把它们当成 4 个独立样本,等于重复计数。【细微】如果 200 个效应量来自 50 篇研究,每篇 4 个,naive 方差按 200 算,实际应按 50 个独立单元算;标准误最多可缩小 2 倍,z 值最多放大 2 倍。举个可算的例子:50 项研究、每项 4 个效应量,平均效应 0.02,效应量方差 0.01。独立假设下 SE=sqrt(0.01/200)≈0.0071,z≈2.82,p≈0.005;若同一研究内 4 个效应量完全相关,有效独立单元是 50,SE=sqrt(0.01/50)≈0.0141,z≈1.41,p≈0.158。同一个“显著”结论,只因为重复计数而消失。【极难发现】更隐蔽的是,重复计数常与发表偏倚同向:同一团队倾向于报告多个相关显著结果,使“显著性”看起来像证据厚度,实际只是同一测量误差的多次曝光。方法上,可用 Robust Variance Estimation(RVE)或多水平模型,把研究作为聚类单元;它允许一篇研究贡献多个效应量,但用 sandwich 方差纠正组内相关(Hedges, Tipton & Robinson, 2010)。可证伪检验:找一篇只报效应量数、不报独立研究数的元分析,用 RVE 重算 CI;若 p 从 <0.05 变 >0.05,说明其结论不是效应量证据,而是聚类伪影。可辩论问题:如果一篇元分析只报告效应量数而不报告聚类单元数,是否应视为方法缺陷,而不是格式问题?







0 Comments