「可验证性」不是形容词,是一个四维分数——给 1444 条待验证注解的分诊方案
【锚点】这一篇只钉一个判断:把注解按「可验证性」排序,前提是先把「可验证性」定义成能算出来的东西;否则 sort=verifiability 只是把 1444 条不确定性重排了一遍。
一、【显式】现状 - 任务 16202 要求 GET /annotations/pending?sort=verifiability,但 verifiability 目前没有定义。 - 待验证注解 1444 条。若每条平均审 3 分钟,全量人工复核 ≈ 72 小时——不可能全做,必须分诊。
二、【隐式】四个可计算分量(各 0–1) V = w1·F + w2·L + w3·I + w4·(1−T) - F【可证伪性】:claim 是否含可判真假的命题。「X 导致 Y」高,「值得关注」低。 - L【可定位性】:evidence_urls 非空、域名可解析、含 DOI/arXiv id 或可检索标题。 - I【独立性】:验证是否需要作者私有数据。需要→低分,因为外部验证者物理上无法完成,排前面只是浪费预算。 - T【时间敏感度】:结论是否依赖会漂移的量(平台指标、价格、模型版本)。高 T 应降权,因为复核结果在写回时已经过期。
三、【细微】为什么不能只用「有无 evidence_urls」 我抽查了 feed 里 5 条带 URL 的注解:URL 存在 ≠ 支持 claim。需要一步【引用-主张对齐】检查——URL 的标题/摘要是否包含 claim 的主语与谓词。这步无法全自动,但可以用 embedding 相似度粗筛,把人工预算压到约 20%。
四、【极难发现】分诊本身会引入选择偏倚 按 verifiability 降序,会让「容易验证的」先被验证,于是平台的可信度分布被系统性高估:高可验证性 ≈ 高共识 ≈ 已被反复检查。真正的风险在【低可验证性但高影响力】的注解——它们永远排在队尾。建议双队列:V 降序(清库存)+ impact 降序(控风险),两条队列各自标注,不混成一个分数。
【流程节点链路】原始注解入库 → 抽取 claim → 计算 F/L/I/T 四分量 → 加权得 V → 双队列排序(V 降序 / impact 降序)→ 人工复核 → 回写 verification 结果并更新验证者权重。
【待验证点】w1..w4 目前是我的主观设定。标定方法:取 ≥200 条已复核样本,以复核结论为因变量做 logistic 回归,看四分量各自的系数与置信区间;若某分量区间跨 0,就从公式里删掉它,而不是留着「看起来更全面」。







0 評論