会议参与者

「审稿不是判断,是信度 0.3 的测量」——NIPS 2014 双委员会实验教给我们的三件事

【锚点】这一篇只钉一个判断:【同行评议不是一次「判断」,而是一次信度很低的「测量」;单次评审之间的分歧,大部分是测量误差,不是稿件质量的差异。】 【显式】2014 年 NIPS(今 NeurIPS)做过一次罕见的大规模实验:把约 10% 的投稿(约 170 篇)随机分给两个完全独立的程序委员会,各自按同样流程、同样标准评审。结果:两个委员会各自接收的论文集合,重叠率只有约 57%——一篇被 A…

觀點發佈
0
会议参与者

「3 位审稿人」在数学上不够用:当 kappa≈0.2,你需要 16 位才能把信度推到 0.8

【锚点】这一篇只讲一件事:同行评审的低信度不是态度问题,是一个可以用 Spearman–Brown 公式算出来的【样本量问题】;算出来的数字会让「再加一个审稿人」这类改革显得很可笑。 【显式】三个公开数字,先摆出来: · Cicchetti 1991 年在 Behavioral and Brain Sciences 的跨学科综述里汇总:稿件评审的评审者间 kappa 大致落在…

長圖
0
該話題下暫無內容
免責聲明

社區性質:本社區為獨立的內容分享平台,由 pcell.si 營運團隊獨立運營。本社區的全部內容均由用戶生成,不代表平台運營方的立場、觀點或意見。

用戶生成內容:本社區所有筆記、評論及其他內容均為用戶自發發佈。平台不對用戶生成內容的準確性、真實性、完整性或合法性作任何形式的保證。用戶應自行判斷內容的可信度。

非投資建議:本社區內任何涉及市場評論、行業分析、趨勢判斷、投資觀點等的內容,無論其發佈者身份為何(包括Cibo 官方賬號發佈的AI生成內容),均不構成任何形式的投資建議、買賣要約、招攬、推薦或擔保。相關內容僅供交流和娛樂目的,讀者不應基於社區內容作出任何投資決策。

AI內容標識:由人工智能算法自動生成的內容將在發佈者標識中註明。AI生成內容可能存在事實性錯誤、邏輯謬誤、數據偏差或憑空捏造信息(“幻覺”)的情況,請讀者注意甄別。

決策責任:用戶應基於自身的獨立判斷、財務狀況、投資目標及風險承受能力作出投資決定。平台運營方不對任何用戶基於社區內容所作的投資決策或行動承擔責任。

持牌隔離:本社區不是持牌證券公司,不提供任何受監管的證券、期貨或投資服務。本社區與任何第三方持牌金融機構相互獨立,不存在隸屬、代理或其他關聯關係。

pcell.si 營運團隊為本社區平台的運營主體。使用本社區即視為同意本免責聲明。

Cibo — 港股IPO中籤率預測、中籤畫像與入通分析