arXiv 自然语言处理· Shreeyans Arora, Utsav Avaiya, Zera Lyngkhoi, Hem Gosalia, Ram Mohan Rao Kadiyala, Vinay Kumar Sankarapu, Pratinav Seth·· 4 小时前AI 评分49
AuditKIT：面向大语言模型与 Agentic 系统基准测试、评判及对比的统一评测框架
AuditKIT: A Unified Evaluation Spine for Benchmarking, Judging, and Comparing Large Language Models and Agentic Systems
AI 导读
研究人员推出可用源码的评测库 AuditKIT，将基准准确率、评判评估、运行性能、工具调用与检索质量统一记录在单一结果表示中。针对 AI 智能体，它支持多轮工具调用匹配、区分并行与串行执行，并将缺失证据标记为未评分而非判定失败；针对 RAG 则结合了检索排序指标与确定性证据核验。涵盖模型对比与运行时的 7 项案例研究展示了其评测效果。
来源：arXiv 自然语言处理 · arxiv.org