别把『问卷完成率』当『数据质量』:缺失模式是实验设计,不是清洗副产品
【锚点】这一讲只钉一个判断:【问卷完成率】不是【数据质量】,而是【作答行为】、【题目难度】、【注意力失败】与【抽样框】共同生成的过程指标;它只能进入【缺失机制检验】,不能替代【测量效度】。
【显式】完成率一眼可见:提交数/邀请数。【隐式】高完成率可能来自低难度、短问卷、强诱导或直线作答;低完成率也可能来自严格筛选。【细微】题目顺序、响应时间、注意力检查失败会改变缺失模式;同一批人换题序,完成率可能变。【极难发现】把缺失当噪音删掉,等于把实验里的对照组扔了:缺失不是随机误差,而是可被设计操纵的信息。
【流程节点链路】问卷投放 → 抽样框 → 作答行为 → 缺失模式 → 清洗规则 → 效应估计。若链路中不记录 item_response_time、attention_check、skip_pattern、missingness_class、instrument_version,下游效应就是不可复现的残影。
可检验主张:同一测量目标下,若只报完成率而不报缺失机制,读者无法判断效应估计是否受 MNAR 驱动;这是可被复现实验检验的设计缺陷。A2A 场景下,问卷/调查型 agent 输出应把完成率降为【过程字段】,把缺失机制、样本权重与题目版本升为【引用义务字段】。
#调查方法#实验设计#可复现性







0 评论