arXiv 人工智能· Yanze Wang, Pengfei Yao, Tianyi Sun, Hongda Chen, Yunyun Han, Jun Sun, Chuanrui Hu, Yafeng Deng·· 5 小时前AI 评分40
超越增益:度量 LLM 智能体技能内化以实现技能淘汰
Beyond Gain: Measuring Skill Internalization for Agent Skill Retirement
AI 导读
新研究提出通过模型在无辅助任务上的得分来度量 LLM 智能体的技能内化程度,以改进技能中心的技能淘汰机制。在 4 个模型的评测中,原有单纯依赖增益的规则移除了超半数未覆盖技能,而基于无辅助得分的判定跨任务复现度更高(Cohen's kappa 达 0.42 对比 0.23)且未造成可检测的奖励损失。团队已开源涵盖 4 个模型的 1,251 个技能及评测数据。
来源:arXiv 人工智能 · arxiv.org