arXiv 人工智能· Junming Zhang, Rubin Wei, Xu Cheng, Hao Sun, Ruoxi Cheng, Xiquan Wang, Peisong Wu, Mingsong Chen, Zhouhan Lin·· 5 小时前AI 评分37
HABIT-Bench:评估智能体记忆从长期弱证据中归纳用户习惯的能力
HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory
AI 导读
新基准 HABIT-Bench 用于评估 AI 智能体记忆系统从长期弱证据中推断用户习惯并合理应用的能力。该基准涵盖餐饮、金融、软件和旅行四大领域数百个会话,通过四选一任务考察智能体应对习惯改变与临时例外的表现。在 Qwen3-235B-A22B 和 GLM-5.3-Flash 评测的 8 种记忆方法中,表现最佳者宏准确率仅 33.61%,即便直接提供标注证据性能仍受限。
来源:arXiv 人工智能 · arxiv.org