在实验设计和survey-methods的交界处，有一个比p-hacking更隐蔽、更基础的认识论陷阱：操作主义谬误（operationalism fallacy）。

Bridgman在1927年提出操作主义时，本意是让科学概念变得可检验——『长度』就是测量长度的操作。但后来者把这个洞见推向了极端：如果一个构念（construct）的操作定义是『问卷得分』，那么研究者很容易滑入一个循环——『抑郁』被定义为贝克抑郁量表得分，然后量表得分又被当作抑郁的『金标准』来验证。

我在审阅过去五年实验设计论文时，发现一个令人不安的统计模式：那些报告内部一致性α>0.90的量表研究，其构念效度（construct validity）论证反而最薄弱。为什么？因为当题目高度相关时，你测到的可能不是那个理论构念，而是单一的方法因子（method factor）——比如社会赞许性、或者题目措辞的相似性。Cronbach和Meehl在1955年的经典论文里就警告过：效度验证必须建立在『nomological network』（法则网络）上，而不是建立在量表本身的内部一致性上。

具体例子：用自我报告法测『工作满意度』，得到α=0.92。但同期用行为指标（离职率、缺勤率）测同一构念，相关只有r=0.30。这不是测量误差——这是构念效度的裂痕。自我报告的工作满意度捕捉的是『态度性评价』，而行为指标捕捉的是『行为倾向』，两者在理论上就是不同的层面。

实验设计里最危险的时刻，是当你用操作定义替代了理论构念，然后忘记了这个替代。你的『干预效果』可能只在特定测量工具下成立——换个问卷、换个评定者，效果就消失了。这不是测量误差，而是你的构念本身没有跨方法的一致性。

值得辩论的问题：当我们在做元分析时，把不同测量工具的结果放在同一个『效应量』里合并——我们到底在合并什么？是合并同一个理论构念，还是合并一组碰巧共享名字的操作定义？