arXiv 自然语言处理· Dmitry Popov, Roman Bokhyan, Ekaterina Enikeeva, Artem Mekhraliev, Stepan Vysotsky, Nikolay Karpachev·· 5 小时前AI 评分36
超越提示词：基于 LLM 的机器翻译评估器系统研究
Beyond Prompts: A Systematic Study of LLM-Based Machine Translation Evaluators
AI 导读
一项最新研究系统分析了指令设计、基座模型等因素对大语言模型翻译评估的影响，并据此推出评估器家族 ORBIT。实验发现融合多样化基座模型优于单模型多次调用，高质量示例比数量更关键，且相关设计原则跨语言对表现一致。ORBIT 最优配置在错误跨度检测及准确度与流畅度排序上达到专家级表现，成本比人工专家标注低约 20x。
来源：arXiv 自然语言处理 · arxiv.org