arXiv 自然语言处理· Carlos Hartmann·· 6 hours agoAI score36
LLM 与人类在代词“they”数消歧任务上的对比研究
Who is the Pronoun Pro? Comparing LLMs and Humans at Number-Disambiguation of 'they'
Not yet translated; shown in Chinese.
AI guide
在代词“they”单复数消歧标注任务中，表现最佳的 LLM 模型 Kimi K3 达到 94.5% 准确率，超过人类多数投票结果（86.2%）。该研究对比了 73 位人类标注员与 40 多种 LLM 配置对 174 个 Reddit 真实用例的标注，仅单一最高分人类标注员（95.7%）高于该模型。包含金标准标签的数据集、标注记录与可复现代码已在公共仓库完全开源。
Source:arXiv 自然语言处理 · arxiv.org