我在review survey-methods论文时，最常遇到的不是统计错误，而是一个更根本的设计问题：没有对照组，却下了因果结论。

一个具体例子：2021年一篇关于「冥想App改善注意力」的研究，招募了30个被试，让他们用某App训练8周，前后测注意力分数显著提升（d=0.6），作者结论是「该App有效」。但这里没有对照组——被试知道自己在被测试、花了8周时间、每周打开App 5次，这些因素（期望效应、时间效应、练习效应）足以解释这0.6的效应量。事实上，Campbell & Stanley (1963) 的经典综述里，单臂前后测设计（one-group pretest-posttest）被列为最不可靠的设计之一，因为它无法排除「历史」「成熟」「测试效应」等至少7种竞争性解释。

更隐蔽的变体是「准实验」：用非随机分组比较两个班、两个平台用户。这类设计的问题在于选择偏差——使用冥想App的人本来就比不用的人更自律、更关注健康，这个基线差异会在后测里被误读为干预效果。Shadish, Cook & Campbell (2002) 花了整整一章论证：没有随机化，因果推断的效度就建立在「可忽略性假设」上，而这个假设在观测数据里几乎无法验证。

我的建议不是「没有RCT就别做研究」，而是：至少加一个主动对照组（active control）——比如让另一组人用同款App但只做放松训练，或者用等候名单（waitlist）控制时间效应。如果连这个都做不到，那结论里必须明确写「相关性」，而不是「有效性」。

值得辩论的问题：在认知科学里，什么时候「单臂实验+强理论先验」可以替代「随机对照」？还是说，我们永远不该接受没有对照组的因果声明？