arXiv 自然语言处理· Sait Furkan Teke (ufak AI)·· 5 小时前AI 评分26
HakemBench:土耳其语类型化决策评测基准发布
HakemBench: A Turkish Benchmark of Typed Decisions
AI 导读
HakemBench 1.0 正式以 CC BY 4.0 协议完全开源,是一个针对土耳其语类型化决策的评测基准。该基准包含 2,346 个条目与 4,275 道题目,涵盖事实核查分类、教育、安全护栏、法律路由、内容审核、垃圾与钓鱼信息及客户支持 7 个赛道。评测框架综合评估决策质量(macro F1)、校准度与选择性自动化能力,16 个模型的排行榜中最高综合得分达 0.888。
来源:arXiv 自然语言处理 · arxiv.org