arXiv 自然语言处理· Jiangnan Yu, Ceyu Xu, Mengming Li, Shiyu Huang, Yiran Xia, Jian Weng, Hui Xue, Haohui Mai, Yuan Xie·· 1 天前AI 评分52
TomasuLLM:面向大语言模型智能体的乱序投机执行运行时
TomasuLLM: Out-of-Order Speculative Execution for LLM Agents
AI 导读
研究人员推出面向大语言模型智能体的运行时 TomasuLLM,通过乱序投机执行工具调用来降低编译与测试等长耗时操作带来的等待延迟。该方案在隔离的写时复制沙盒中预先执行未来动作,追踪其依赖与影响,并在通过状态验证后按轨迹顺序提交结果。
来源:arXiv 自然语言处理 · arxiv.org