arXiv 自然语言处理· Marek \v{S}uppa, Jaroslav Kop\v{c}an·· 18 小时前AI 评分33
XDecideBench：跨语言评估类型化决策模型与置信度策略
XDecideBench: Evaluating Typed Decision Models and Confidence Policies Across Languages
AI 导读
跨语言评测基准 XDecideBench 包含 122 种语言、88,425 篇文本与 153,875 个类型化问题，用于评估决策模型与置信度策略。测试显示英语最优模型在约四分之一的套件语言组合中显著落后，而微调的 3 个开源模型在 12 种开发语言中均击败基座 Qwen 模型。此外，在英语上允许 5% 错误率的置信度阈值在 XNLI 德语和法语测试中均超标。
来源：arXiv 自然语言处理 · arxiv.org