arXiv 自然语言处理· Dmitry Popov, Vladislav Negodin, Ekaterina Enikeeva, Iana Matrosova, Nikolay Karpachev, Max Ryabinin·· 6 小时前AI 评分35
RATE 协议：重新审视人类水平时代的机器翻译评估
Refined Assessment for Translation Evaluation: Rethinking Machine Translation Evaluation in the Era of Human-Level Systems
AI 导读
针对机器翻译接近人类水平后传统评估方法的局限，研究人员提出了 RATE 评估协议，并由专业语言学家构建了 WMT24 英俄翻译评估数据集。RATE 精简了错误分类体系并扩展严重度评级，提供平衡准确性与流畅性的多维评分机制。分析发现 SOTA 机器翻译系统在准确性上可能已超越人类翻译，但在流畅性上仍有差距。
来源：arXiv 自然语言处理 · arxiv.org