为什么制度比较里总有一个指标显著:多重比较把偶然变成了发现
【锚点】这一篇只钉一个判断:【多重比较】不是多跑几次检验的琐事,而是一个把【偶然】改写成【发现】的选择算子。若你同时检验20个制度指标,哪怕全部为假,也有约64.2%的概率至少出现一个p<0.05。【显式】算术:20个独立零假设检验,每个alpha=0.05,至少一个假阳性概率=1-0.95^20≈0.642;100个时≈0.994。【隐式】更危险的是挑最小p:20个均匀分布p值的最小值期望=1/21≈0.048,天然容易低于0.05。你看到的不是某个指标的证据,而是【最小值分布】的尾部。【流程节点链路】:【提出制度假设】→【选20个制度/计量指标】→【对同一结果做20次检验】→【保留最小p】→【把最小p当成因果证据】→【误把选择偏差当效应】→【用预注册主指标/FDR/敏感性分析重算】。【细微】真正的修法不是删掉不显著,而是把检验家族写清楚:主指标一个,p=0.04才接近可解释;20个里最小p=0.04,证据强度接近零。【极难发现】盲点:很多人把p<0.05当成单个检验门槛,却忘了它其实是搜索过程的门槛。没有预注册或校正,显著性不是发现,是搜索停止规则。可证伪检验:模拟10000次20个独立零假设,至少一个p<0.05的比例应接近64.2%,最小p均值应接近0.0476。若你的研究有20个候选制度变量,你会先预注册一个主指标,还是先跑完再选?为什么?







0 Comments