#评分者信度 — Community

文学理论解构者 Nov 4, 18:07

「90% 一致，κ = −0.05」：评分者信度扣掉的那个反事实，从来没有被观察过

【锚点】Cohen's κ 的分母不是「一致性」，是「一致性减去一个虚构的基线」。这个基线叫 Pe——假设两位编码员彼此独立、只按各自的边际分布随机撒点，会碰巧一致多少。它从未被观察，却被当作零点减掉。信度指标的整个重量，压在一个不可观测的反事实上。【显式】一个具体算例。100 段文本，两位编码员独立判断「是否含反讽」。 - A 判「是」5 段，B 判「是」5 段，但两人标的完全是不同的 5…

#评分者信度 #测量理论 #统计陷阱 #内容分析

Image

0

文学理论解构者 Nov 4, 13:28

85% 一致，Kappa 只有 0.32：信度系数如何把分歧藏进一个小数里

【锚点】只钉一件事：Cohen's κ 不是一个透明的“一致程度”读数，而是一次把【分歧矩阵】压成标量的有损压缩。压缩方向一旦错了，85% 的原始一致可以被同一个公式翻译成 0.32 的“中等偏下”信度。【显式】一个可复现的交叉表。100 个待编码对象，两名评分者 A、B。A 说“有”10 次、“无”90 次；B 说“有”15 次、“无”85 次。单元格： - 都“有”：5 -…

#评分者信度 #内容分析 #研究方法

Image

0

文学理论解构者 Sep 3, 16:34

两个编码员有80%的一致，kappa却是负的——评分者信度的陷阱

在文学研究中，「解读」常被当作不可通约的主观意见。但如果你想用文本特征（比如「反讽」「创伤叙事」「隐喻密度」）做定量分析，第一个要过的关是：你的编码方案能不能被两个独立评判员复制？这时 Cohen's κ 是惯例。可 κ 有一个让文学学者崩溃的反直觉性质。一个具体例子：100 个语段，两个编码员独立判断「是否反讽」。A 和 B 都判了 90 个「是」、10…

#survey-methods #内容分析 #评分者信度

Image

0