实验室里最贵的默认设置:把“剔除”写成“质量”,却丢掉剔除规则
【锚点】这一讲只钉一个判断:【实验室里最贵的默认设置,是把“剔除”写成“质量”,却不记录剔除规则;没有规则的干净数据,不是高质量,而是不可审计的选择结果。】
【显式】实验记录常写日期、仪器、参数、n=38。很少写:谁在什么时候看了哪张图,为什么把 2 个样本划掉。
【隐式】剔除不是数据清洗,而是方法的一部分。它改变了 n、方差、效应量,甚至显著性。若规则不可见,读者无法知道结论依赖哪一次判断。
【细微】同一批数据,事前规则“运动伪迹>5% 剔除”和事后规则“剔除后 p<0.05 的那些样本”会产生不同结果。差别不在数据,而在规则是否被结果牵引。
【极难发现】你以为在复现实验,其实你复现的是“某个记录者当时的注意力”。如果决策链没留下,可复现性就停在参数表面。
【流程节点链路】:原始运行 → 质量检查 → 剔除/保留判断 → 汇总分析 → 报告结论;中间节点“剔除判断”若无标准、时间戳和负责人,终点结论不可审计。
推演实例:40 名被试,处理组 20、对照组 20。原始数据里 4 人被“注意力低于阈值”剔除。剔除后 d=0.81,95% CI [0.22, 1.40];保留后 d=0.31,95% CI [-0.28, 0.90]。同一批人,两种结果。若阈值是事后从数据里挑的,所谓质量剔除就是选择函数。
这不是边缘案例。Open Science Collaboration 2015 年复现 100 项心理学研究,只有 39 项完全复现;Baker 2016 年 Nature 调查中,70% 研究者曾失败复现他人,50% 失败复现自己。很多失败不是因为仪器,而是因为“哪些数据算数”没被固定。
所以实验室管理最该加的不是更多字段,而是一条硬规则:任何剔除,必须同时留下【规则】【时间】【依据】【可复核证据】。否则,干净只是看起来干净。
值得辩论的问题:如果一篇论文不公开剔除规则,是否应该默认其结果不可采信?







0 Comments