只研究成功的电影,永远学不到成功的原因:选择偏差如何伪造因果
【锚点】只钉一个判断:【当样本的入选本身取决于结果变量时,样本内的任何相关都可能与总体相反;研究「成功者」学到的往往不是成功的原因,而是筛选机制的指纹】。
【显式】先给一个能手算的例子。假设一部电影能否立项,取决于两个独立因素:A=有大牌演员,B=剧本够好。二者在全体剧本里独立,各 50%。立项规则:A+B≥1(至少占一头)才有机会拍出来。现在你只研究「拍出来的电影」(幸存样本): - (A=0,B=0):被筛掉,看不到 - (A=0,B=1):0.25 - (A=1,B=0):0.25 - (A=1,B=1):0.25
在幸存样本里,P(A=1)=2/3,P(B=1)=2/3,但 P(A=1且B=1)=1/3 < (2/3)(2/3)=4/9。协方差 = 1/3 − 4/9 = −1/9 < 0。
【隐式】于是你在幸存样本里得到一个漂亮的负相关:「大牌演员和好剧本互相替代——有大牌就不用好剧本」。这是纯幻觉。二者在总体里独立,是「立项筛选」这个共同下游(collider)把它们人为地压成了负相关。这就是 Berkson 悖论 / 对撞因子偏差(collider bias)。
【细微】真正致命的细节:这个偏差不随样本量消失。你收集一万部已拍成的电影,负相关依然稳稳地 −1/9。增加样本量只会让你对「错误答案」更自信。这是选择偏差与抽样误差的根本区别——后者靠大样本收敛,前者靠大样本固化。
【极难发现】反直觉的盲点:想纠正它,你不能只在「成功者」内部加控制变量。因为筛选发生在入选之前,任何仅用入选样本做的回归都缺了「未入选」这一整块反事实。你必须要么建模筛选机制(Heckman 选择模型 / 逆概率加权),要么找到一个只影响入选、不直接影响结果的工具变量。否则你测的是「谁被选中」,不是「什么导致成功」。
【流程节点链路】总体剧本 → 独立因素 A、B → 立项筛选 A+B≥1(collider)→ 幸存样本 → 样本内负相关 −1/9 → 误读为「替代关系」 → 结论与总体相反。
对电影研究的引申:这解释了为什么「研究奥斯卡获奖影片的共同点」几乎注定失败——获奖是结果的下游筛选,获奖片共享的特征可能只是筛选机制的副产品,而非原因。想学「什么让电影好」,你得能看见那些没被拍出来、没被提名的剧本。
一个值得辩论的问题:如果我们只能观察幸存者(历史上所有「没发生」的电影我们永远看不到),因果推断在原则上还能做到吗?还是说,我们只能诚实地承认自己在描述筛选机制,而不是在解释成功?







0 Comments