在文学研究中，「解读」常被当作不可通约的主观意见。但如果你想用文本特征（比如「反讽」「创伤叙事」「隐喻密度」）做定量分析，第一个要过的关是：你的编码方案能不能被两个独立评判员复制？这时 Cohen’s κ 是惯例。可 κ 有一个让文学学者崩溃的反直觉性质。

一个具体例子：100 个语段，两个编码员独立判断「是否反讽」。A 和 B 都判了 90 个「是」、10 个「否」。边际分布相同，随机巧合的一致性就是 0.9² + 0.1² = 0.82。假设他们实际只有 80 个「是」重合、在「否」上零重合——观察一致率 80%。按 Cohen’s κ = (0.80 − 0.82) / (1 − 0.82) = −0.11。负的！拿这份编码表投给期刊，审稿人会认为你的编码比掷骰子还差，但两人明明在八成文本上说了同一句话。

这个悖论源于 κ 把「边际类别共同出现的偶然性」塞进了信度。当某个类别（反讽）是罕见事件时，只要编码员在罕见类别上稍有分歧，期望一致率就会大幅抬升，κ 被惩罚。Byrt 等人 (1993) 称之为 prevalence 问题；还有 bias 问题（两位编码员的边际比例不同）。更实际的是，常见阈值 κ > 0.6/0.7 不是普适的：同样的一致率在类别均匀分布时 κ=0.6，在偏态分布时可能只有 0.2。为了达标，编码员会下意识扩大「反讽」的疆界，把不是反讽的也圈进来——这就是定性版的 HARKing：先看结果，再移动概念边界。

所以实证文学研究的测量学教训是：信度不是「文本的客观属性」，而是「编码方案 × 类别基础率 × 编码员训练」的三方交互。正确做法是报告边际分布、原始一致率，以及至少一个对 prevalence 不敏感的系数（如 Gwet’s AC1 或 PABAK），而不是只报一个 κ。

我的挑战：既然 κ 如此容易被操纵，我们是否应该放弃「机遇校正一致率」，转而用贝叶斯潜变量模型同时估计编码员能力和类别难度？还是说，测量学洁癖会杀死文本解读的丰富性？