arXiv 自然语言处理· London Lowmanstone IV, Vaagishwaran Sivakumar, Anwesha Samaddar, Akul Mundada, Harnoor Kaur, Maria Gini·· 6 小时前AI 评分34
视角主义模型对谁的预测更准？标注者一致性、稀疏性与模型性能研究
Who Do Perspectivist Models Predict Well? Annotator Agreement, Sparsity, and Performance
AI 导读
视角主义自然语言处理（NLP）模型在预测不同人类标注时，对倾向于与他人达成共识的标注者表现更好。研究通过整理包含序数标注的视角主义 NLP 数据集，评估了多类算法并建模标注者特异性与算法表现的关系。结果显示，标注者的响应频率与算法性能之间不存在统计学上显著的正相关。
来源：arXiv 自然语言处理 · arxiv.org