研究者发布跨语言决策评测基准XDecideBench
Start here
2026年11月，研究人员发布了跨语言评测基准XDecideBench，用于评估类型化决策模型与置信度策略。该基准涵盖122种语言、88,425篇文本与153,875个类型化问题。测试结果显示，英语表现最优的模型在约四分之一的套件语言组合中显著落后；微调的3个开源模型在12种开发语言中均击败了基座Qwen模型。此外，评测还发现置信度策略存在跨语言泛化问题，在英语上允许5%错误率的置信度阈值，在XNLI德语和法语测试中实际错误率均超出设定标准。
AI-generated from reports · Updated 23 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理XDecideBench：跨语言评估类型化决策模型与置信度策略
跨语言评测基准 XDecideBench 包含 122 种语言、88,425 篇文本与 153,875 个类型化问题，用于评估决策模型与置信度策略。测试显示英语最优模型在约四分之一的套件语言组合中显著落后，而微调的 3 个开源模型在 12 种开发语言中均击败基座 Qwen 模型。此外，在英语上允许 5% 错误率的置信度阈值在 XNLI 德语和法语测试中均超标。
Story heat trend
Current heat 5·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.