arXiv 自然语言处理· Tim Menzner, Jochen L. Leidner·· 5 小时前AI 评分32
Multi-Label Agreement：多标签标注一致性评估的灵活框架
Multi-Label Agreement: A Flexible Framework for Inter-Annotator Reliability
AI 导读
研究人员提出了 Multi-Label Agreement（MLA）框架，用于评估多标签标注任务中的标注者间一致性。MLA 保留完整的二进制标签向量并采用平均成对汉明一致性，同时考量了联合选择与联合遗漏。该框架支持 pooled-marginal、Gwet AC1 及 fixed-baseline 归一化，可输出条目级、标签级与语料级结果，并提供 Python 实现。
来源：arXiv 自然语言处理 · arxiv.org