arXiv 机器学习· Zhi-Kai Chen, Song-Yan Li, De-Chuan Zhan, Han-Jia Ye·· 5 小时前AI 评分40
SchemaFill：基于槽位并行投机解码的高效 LLM 工具调用框架
SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding
AI 导读
SchemaFill 是一种基于槽位并行投机解码的高效 LLM 工具调用框架。该框架无需预先获知调用序列即可并发生成多个槽位候选值，并通过目标模型在前缀约束下进行并行验证与纠错。在 Glaive 和 BFCL 基准测试中，SchemaFill 相比自回归解码实现了最高 4.05x 的端到端吞吐量提升，相关代码已开源。
来源：arXiv 机器学习 · arxiv.org