跳到正文
原文
arXiv 人工智能· Mengyu Sun, Zunlong Zhou, Ziyuan Yang, Yi Zhang·· 8 小时前AI 评分34

SkillCT:用于 Agent 技能评估的多维度评测基准与免执行基线

SkillCT: A Multidimensional Benchmark and Execution-Free Baseline for Agent Skill Assessment

AI 导读

研究者推出 Agent 技能评估基准 SkillCT 及其免执行基线,将技能评估从下游执行结果拓展至多维度质量表征。SkillCT 涵盖静态评估、动态评估与人工辅助评估三大方面共 9 个互补维度,考察技能规范、跨模型行为稳定性与任务粒度。其免执行基线通过检索相似参考技能预测未知技能画像,无需运行即可减少 token 消耗与评测时间。

来源:arXiv 人工智能 · arxiv.org