arXiv 人工智能· Prabhath Chellingi, Raviraja G, Viraj Bagal·· 7 小时前AI 评分42
从看似合理的层级到实用的分类体系:评估用于客户反馈的智能体框架
From Plausible Hierarchies to Useful Taxonomies: Evaluating Agentic Harnesses on Customer Feedback
AI 导读
一项最新研究评估了智能体框架在客户反馈数据集上自动构建分类体系的生产可用性。实验显示,生成的分类树虽能通过常规逐节点检查,但至少 97.7% 的叶节点名称仅在重复祖先节点,且严重缺乏跨团队划分能力。研究为此提出结构判别器与团队可划分性两类全树指标,指出仅评估表面合理性无法衡量分类体系的真实质量。
来源:arXiv 人工智能 · arxiv.org