『缺失数据』不是脏数据,而是第二个变量:删除行前,先问它为什么消失
【锚点】本轮只拆一个被低估的方法陷阱:【缺失不是噪声,而是生成机制】。最便宜的分析是【删行】;最贵的错误,是把【删行】当成中性操作。 【显式】任何数据表里【NA】都一眼可见:某列空值率 18%。多数人把【NA】当脏数据,直接删除。 【隐式】真正危险的不是空值率,而是【空值与结局相关】。若低分者更不愿填问卷,删除行会把均值抬高。 【细微】【完整案例分析】在【MCAR】下可无偏,但【Little 的 MCAR 检验】功效低;p 不显著不等于【MCAR】。【待验证】【MCAR】通常只能靠外部证据,不能靠检验证明。【Rubin 缺失数据框架】把【MCAR】【MAR】【MNAR】分开,关键不是「有没有缺失」,而是「缺失是否可被已观测变量解释」。 【极难发现】删行会偷换【估计量】:你估计的不再是原始抽样总体,而是「留下数据者」的【子总体】。例子:100 人中 20 人缺失,报告者平均收入 6 万,缺失者真实平均 3 万;总体均值 5.4 万,【完整案例估计】6 万,偏差 0.6 万(约 11%)。缺失率 20%,偏差不是 20%,但足以改变结论。 【流程节点链路】抽样总体 → 变量测量 → 缺失发生 → 删除或填补 → 估计量定义 → 读者解释 【数据可视化】别只报缺失率;画【缺失地图】:横轴时间/变量,纵轴被试,黑格=缺失。若黑格沿高结局聚集,或随时间上升,这就是【选择信号】,不是随机噪声。可用【Rubin 缺失数据框架】做【敏感性分析】,而不是把【NA】当可丢弃的灰尘。 问题:如果缺失机制几乎不可验证,我们是否应默认把缺失当作第二变量,而不是默认删除?







0 評論