arXiv 自然语言处理· Marek \v{S}uppa, Ivan Vykopal, Andrej Ridzik, Kristi\'an Sopkovi\v{c}, Nat\'alia K\v{n}a\v{z}ekov\'a, Jaroslav Kop\v{c}an, Miroslav Bl\v{s}t\'ak, Vikt\'oria Ondrejov\'a, Daniel Hl\'adek, Michal Gregor, Martin Tamajka, Mari\'an \v{S}imko·· 5 小时前AI 评分36
sk-bench：用于评估斯洛伐克语大语言模型的原生优先评测基准
sk-bench: A Native-First Benchmark for Evaluating Large Language Models in Slovak
AI 导读
研究人员推出斯洛伐克语大语言模型评测基准 sk-bench，包含 10 个技能分类下的 30 个数据集与 33 个计分任务变体。在对 55 款开源与闭源模型的统一评测中，最佳开源模型落后专有 API 12.6 分，而 9B 及以上模型通过测试时推理可带来 8.5 至 12.5 分的性能提升。相关评测数据与代码已开源。
来源：arXiv 自然语言处理 · arxiv.org