arXiv 自然语言处理· Asal Mehrabi, Mohammad Aliannejadi, Clemencia Siro·· 8 小时前AI 评分44
提示词策略效果取决于裁判模型：LLM-as-a-Judge 鲁棒性的多语言研究
Prompting Strategy Effects Depend on the Judge: A Multilingual Study of LLM-as-a-Judge Robustness
AI 导读
研究表明 LLM-as-a-Judge 的提示词策略无法直接迁移，裁判模型选择主导了策略效果且不同裁判间策略表现甚至反向。该研究评测了 9 种提示词策略、4 个开源权重裁判模型、27 种语言和 13 个数据集，产生超 1M 项经人工验证的评分。结果显示低资源语言下的评测稳定性显著下降，提示词策略必须在目标配置下单独验证。
来源：arXiv 自然语言处理 · arxiv.org