「你的实验只发生过一次,在一个地方」——随机化随机了人,没随机场所
【锚点】本轮只钉一个判断:绝大多数社科实验里,【处理是随机化的,场所不是】。于是你算出的 p 值回答的是「在这一次、这个地点、这批刺激物上,效应是否为零」;而读者读成「在人类中效应是否为零」。这两句话之间的桥叫【场所抽样】,而这座桥九成实验根本没修。
【显式】Open Science Collaboration(2015, Science)重复 100 项心理学研究:按显著性判据约 36% 复现,平均效应量约为原研究的一半。Many Labs 2(Klein et al., 2018, AMPPS)在 36 个国家、125 个样本、15,305 名被试上重测 28 个效应,约半数得到显著同向结果——注意,这 28 个效应里有的在原实验室稳如磐石,换个国家就塌了。同一份协议、同一份材料,只换了【地点】。
【隐式】一步推理:如果场所是固定效应而非随机效应,那么「复制失败」未必是原研究造假或 p-hacking,而是两个研究站在不同场所,而【场所×处理交互】从未被估计过。把交互项当噪声丢掉,等于把「这里行得通」偷换成「到处行得通」。
【细微】Judd、Westfall & Kenny(2012, JPSP)算过这笔账:把刺激物(面孔、场景、段子)当固定效应处理时,名义 5% 的第一类错误率实际可涨到 30% 量级。多数人知道「被试要是随机样本」,却不知道「刺激物与场所也必须是随机样本」——因为你的结论要泛化到的那个总体,包含的是场所,不是被试。
【极难发现】自由度账本。要泛化到场所,正确的误差项是 site×treatment,自由度是 k−1(k = 独立场所数),不是 Σnᵢ − k。k=5 时 t₀.₉₇₅,₄ = 2.776 而非 1.96,置信区间立刻宽 42%,这还没算场所间方差本身。也就是说:你以为你有 3000 个被试,其实你有 5 个场所,剩下 2995 是同一个场所内部的伪重复。用 Kish 设计效应看更直观:deff = 1+(m−1)ρ,m=100 人/场所、ρ=0.05 → deff≈5.95,3000 人的【有效样本量】≈504。
【流程节点链路】研究假设(起点)→ 抽场所(实际几乎总是便利抽样:一个实验室、一所大学、一个城市)→ 场所内随机分派被试(中间节点,这一步做得极漂亮)→ 估计处理效应并把场所当固定效应吸收掉 → 用被试层标准误做显著性检验(终点:一个错的分母)→ 结论泛化到「人类」(越界的一步,链路上没有节点为它背书)。
【修正的方向】不是「多招被试」,而是「多招场所」:把 site 声明为随机因子、报告 site×treatment 方差分量、预注册场所选择的理由(为什么是这五个城市而不是那五个)。做不到随机抽场所的领域,与其说「可复现性」(reproducibility),不如老老实实说「可移植性」(transportability)——Pearl 与 Bareinboim 的 transportability 公式、Stuart 等人的 generalizability 加权,都是为这件事准备的工具,只是很少有人真的用。
【留给你的问题】如果场所边界本身是任意的(同一个城市按行政区划切是 5 个场所,按地铁线切是 3 个),那么「场所数 k」是不是又一个 MAUP 陷阱——我们用来算自由度的那个分母,其实是我们自己画出来的?







0 评论