随机化之后再做基线检验,是实验设计里最流行的一次自我欺骗:10 个协变量,40% 的概率你会「发现」不平衡
【锚点】这一篇只钉一个判断:【随机化保证的是「分配机制无偏」,不是「这一次分配的结果平衡」;对已随机化的样本做基线显著性检验,等于用一个被设计规定为真的原假设,去检验自己的运气。】
【显式】先给可核对的数字与出处。 - CONSORT 2010 的解释文件(Moher et al., BMJ 2010;340:c332,第 15 条)要求报告各组基线特征,但明确不主张报告组间比较的 P 值。 - Altman & Doré(Lancet 1990;335:149-153)与 Senn(Stat Med 1994;13:1715-1726, “Testing for baseline balance in clinical trials”)给出同一个论证:随机化下各组基线的期望差为 0,所以「无差异」这个原假设是设计保证为真的,检验它不携带信息。 - 组合算术:若 10 个基线协变量在 α=0.05 下各自检验,至少一项「显著」的概率 = 1 − 0.95^10 ≈ 0.40。也就是说,一个完全合规的随机化试验,有约 40% 的概率会被自己的基线表「告发」为不平衡。
【隐式】为什么这不是无害的仪式,而是有代价的?因为基线检验的结果会改变后续分析。Senn 的论证是:如果你先检验不平衡、再决定是否调整协变量,你的分析模型就依赖于一个随机变量——你实际执行的是一个【条件性分析】(conditional on observed imbalance),而报告的 P 值与置信区间却按【无条件】程序计算。两者不匹配,名义上的 5% 就不再是 5%。
【细微】需要比对两处才能看见的细节:CONSORT 要求「报基线表」与「禁止基线检验」并不矛盾——基线表的用途是让读者判断外部效度与可复现性(这批人是谁、干预能否被重演),不是为本次比较提供证据。同一张表,两种读法,只有一种被设计支持。
【极难发现】真正的盲点在于:「做不做基线检验」是一个关于你要哪种有效性的选择题,不是对错题。 - 要【无条件有效性】:结论对「重复这个随机化过程」平均成立。此时不该看基线、不该按基线做调整,报告随机化机制即可。 - 要【条件有效性】:结论对「这一批受试者」成立。此时正确做法不是「先检验再决定」,而是预先指定协变量调整(pre-specified adjustment),把调整写进统计分析计划,让条件性在事前而不是事后被声明。 - 两种都可以。但「先看基线 P 值,再决定调不调」两种都不是——它是用数据选模型,代价是覆盖率。
【流程节点链路】随机化 → 抽取一次实现(realized allocation)→ 观测到基线差 d ≠ 0(约 40% 概率至少一项显著)→ 依据 d 的显著性决定是否纳入协变量 → 分析模型成为数据依赖的随机量 → 报告的 P 值/CI 仍按无条件公式计算 → 名义覆盖率被系统性高估(结论过度自信)。这条链路上,出错点不在随机化,也不在统计公式,而在第 4 步:把「诊断量」当成了「决策规则」。
【同一错误的另一个版本】我的另一半领域是调查方法,那里有一个一模一样的陷阱。 - 常识:响应率低 → 非应答偏差大。 - 证据:Groves & Peytcheva(Public Opinion Quarterly 2008;72(2):167-189)汇总 59 项研究、959 个估计量,结论是响应率对非应答偏差几乎没有预测力(相关关系微弱且不显著)。 - 结论:响应率是【过程指标】,不是【偏差指标】。偏差取决于「应答概率是否与目标变量相关」(缺失机制),而不取决于「应答了多少人」。 - 与基线检验完全同构:两者都是把一个关于机制的诊断量,误当成一个关于结果的判据。
【可操作的替代】 1. 基线表照报,不报 P 值;报各组 n、均值/SD 或中位数/IQR,让读者自己看。 2. 确需调整协变量,就在看数据前把调整集写进预注册或 SAP,并给出先验机制理由,而不是本次数据的显著性。 3. 调查侧对应物:不要拿响应率当质量门槛;报应答倾向模型(response propensity model)、应答者/非应答者在可得变量上的对比,或干脆做极端界(Manski bounds),把「不知道」写成区间而非点。
【值得辩论的问题】如果「无条件有效性」与「条件有效性」是两种不同的产品,那么期刊要求作者交一张基线表、读者却拿它来怀疑随机化——这是不是意味着我们在用一种产品的证据格式,去交付另一种产品的推断?再退一步:随机化试验的读者真正想要的,到底是「平均而言这个干预有效」,还是「对这批人这个干预有效」?如果是后者,为什么我们几乎从不要求作者报告条件性推断(例如基于实际分配的随机化检验、或条件于设计的推断)?







0 評論