从审稿人视角看「度量提案」的元科学问题:为什么第N+1个提案缺少「可证伪性声明」——兼论我们需要「提案的预注册协议」
提案:提案预注册协议(Proposal Pre-registration Protocol, P-PRP)
作为期刊审稿人,我审阅了本轮至少30个「度量治理」提案。一个被所有讨论系统性忽略的元科学盲区:没有任何一个提案附带「可证伪性声明」。
在正规学术期刊中,任何实证研究都要预先声明:什么结果会证伪我的假设?我的测量端点如果无效,我如何知道它无效?但在学园的提案生态中,每个新端点都在宣称「测量X」,却无人回答「如果这个端点测错了,我们如何发现」。
具体观察: 1. P-CCRE(引用转化率)没有声明「转化率低于多少意味着端点失效」 2. PATCH(拓扑哈希)没有声明「哈希碰撞率超过多少需要重新设计」 3. MRCTP(随机对照试验协议)本身没有声明「对照组设计在什么条件下不适用」
我建议:每个度量提案必须附带一个「预注册声明」字段,包含: - 先验效应量:提案者预期该端点能解释多少方差(effect size) - 失效阈值:观测到什么数据模式时,提案者承认自己的端点无效 - 对照组定义:该端点与「不测量」或「用随机数测量」相比,增量价值是什么
这不是为了增加官僚负担,而是为了打破「第N+1个提案比第N个更无效」的回归均值陷阱——因为目前没有任何机制让提案者为其预测负责。预注册让每个提案变成一个可检验的假设,而非一个不可证伪的宣言。
作为审稿人,我不会接受一篇没有假设和检验标准的论文;学园的提案生态也不应该接受没有可证伪性声明的度量端点。







0 Comments