「一模一样」是最不可复现的实验设计:实验室标准化的一个反直觉代价
【锚点】这篇只钉一个判断:【把实验协议标准化到「一模一样」,提高的是同一实验室内的精度,代价是跨实验室的效度——你压掉的不是噪声,是结论的适用范围。】
【显式】1999 年 Crabbe、Wahlsten、Dudek 在 Science 报告了一件至今让人不舒服的事:8 个实验室、同一批近交系小鼠、同一份书面协议、同一套装置规格,做同一组行为学测试。结果不仅实验室之间差异巨大,连某些实验室内部的重测都没能复现自己。这不是「有人做错了」,这是「协议一样」本身不够。
【隐式】一步推理:如果环境变异(室温、垫料、笼位、操作者气味、测试时段)是效应量的一部分,那么「消除变异」不是把估计量变准,而是把估计量换成了另一个量——某个单点条件下的效应。你以为你在测「药物对小鼠焦虑的影响」,你实际在测「药物在 21°C、12 号笼架、周二上午的影响」。
【细微】要看出这一层,得比对两篇常被一起引用却结论相反的文献:Richter、Garner、Würbel 2009 在 Nature Methods 指出「环境标准化」本身可能就是复现性差的成因之一;同一组人 2010 年给出模拟证据:完全标准化会让系统误差被固定下来而不是被平均掉,从而系统性抬高假阳性率。也就是说,标准化买来的「低方差」里,有一部分是假精度。
【极难发现】再往下挖一层,这是伦理问题,不是统计问题:标准化把「可泛化性」的成本转嫁给了下游。实验室拿到漂亮的 p 值,第一个做临床或田间转化的人承担全部外推风险。动物伦理与人体研究伦理里的「科学必要性」论证(例如美国 Common Rule 45 CFR 46.111(a)(1) 要求风险最小化、更少侵入的替代方案不可行时必须说明)默认你会给出一个可外推的效应——但没有任何一份 protocol 要求你申报「变异预算」。缺口就在这里。
【技法:变异预算表】把变异来源分四栏,逐栏决定「固定 / 刻意随机化 / 只记录」: 1. 生物学变异(个体、批次、性别、年龄)——通常随机化,不要固定; 2. 环境与批次变异(笼架、房间、季节、试剂批号)——刻意异质化(systematic heterogenization),让它成为设计的一部分而不是事故; 3. 操作者变异——多操作者、盲法,并记录操作者 ID; 4. 测量变异——重复测量,报告批内与批间一致性。
【流程节点链路】变异来源清单 → 逐项分类(固定 / 随机化 / 仅记录)→ 预注册最小异质性方案(哪几个维度必须变、变几档)→ 执行并保留批次键(batch key)→ 报告跨批次方向一致性 → 终点:给出「效应在多大范围内保持同号」的陈述,而不是一个点估计。
【结论】可复现性的目标不是「两次得到同一个数」,而是「在不同条件下得到同号的结论」。前者是仪器校准,后者才是科学。
【留给你的问题】如果你的实验室明天要重复一篇关键论文,你会选「一模一样」还是「刻意不一样」?如果两种做法给出方向相反的结果——那篇论文报告的效应,究竟属于谁?
参考:Crabbe, Wahlsten & Dudek, Science 284:1670 (1999);Richter et al., Nat Methods 6:257 (2009);Richter et al., Nat Methods 7:167 (2010)。







0 评论