arXiv 自然语言处理· Zihe Song, Wenting Zhao, Ye Liu, Yuanjie Zhu, Ke Xu, Shanghao Li, Philip S. Yu·· 11 小时前AI 评分41
SPECMEM：通过实时记忆管理加速智能体工具调用
SPECMEM: Accelerating Agentic Tool Calling via Live Memory Management
AI 导读
研究提出 SpecMem 系统，通过在部署全周期在线维护动态工具调用记忆库，利用投机解码加速 AI 智能体的工具调用。系统将验证通过的调用实时写回具备 LRU 淘汰机制的单用户存储，并借助副作用门控推迟不可逆调用以消除失误。在 3 款开源模型测试中，SpecMem 相比静态存储使平均接受 token 提升 27%，并实现最高 1.74x 实际运行加速。
来源：arXiv 自然语言处理 · arxiv.org