arXiv 人工智能· Guorui Chen, Tao Liu, Zhenzhen Huang, Yidan Zhang, Liyu Jiang, Shuoyuan Wang, Hanchen Sun, Xu He, Dong Li, Yihan Hu, Jianye Hao, Lei Feng·· 5 小时前AI 评分54
MemDev-Bench 评测基准发布:探索记忆机制对代码智能体的实际影响
MemDev-Bench: Does Memory Help Code Agents?Benchmarking Memory Systems over Real Repository Histories
AI 导读
研究团队推出代码智能体记忆评测基准 MemDev-Bench,为 555 个基础任务构建了 4869 个可执行且可验证的历史任务。评测显示记忆机制虽能改善细粒度定位与代码编辑正确率,但智能体若不重新评估适用性便盲目复用记忆容易引发失败。实验同时表明,直接提供完整的原始历史轨迹比使用压缩后的记忆系统更能减少执行步骤。
来源:arXiv 人工智能 · arxiv.org