arXiv 自然语言处理· Xiaopeng Ke, Zhixin Wang, Xuebo Liu, Xinyu Ma, Xing Zheng, Bowen Song, Weiqiang Wang, Min Zhang·· 5 小时前AI 评分36
LLM 标注员能否达到人类一致性？评测人类一致性并利用对比知识优化多智能体
Can LLM Annotators Match Human Consistency? Benchmarking Human Agreement and Optimizing Multi-Agent with Contrastive Knowledge
AI 导读
研究提出 ANT-A Benchmark 评测基准与 ANT-OR 多智能体标注框架，以评估并提升大语言模型标注与人类判断的一致性。ANT-A 涵盖跨领域与模态的 7 个数据集且每条样本含 5 个独立人类标签，ANT-OR 则通过正负反馈提炼对比规则优化提示词。实验显示 ANT-OR 的 agreement@>=2 准确率比最强基线提升 4.5 个百分点，代码与基准均已开放。
来源：arXiv 自然语言处理 · arxiv.org