arXiv 自然语言处理· Jihao Zhao, Shuaishuai Zu, Pengfei Li, Biao Qin, Guanghuan Fang, Ben Feng, Baochuan Yang·· 17 hours agoAI score35
TraceSpec：理解与改进大语言模型智能体的投机解码
TraceSpec: Understanding and Improving Speculative Decoding for LLM Agents
Not yet translated; shown in Chinese.
AI guide
TraceSpec 框架将轨迹评估与自适应草稿训练相结合，用于改进大语言模型智能体的投机解码效率。该研究构建了含 10,000 个训练状态的 TraceSpec-Traj 语料库，通过状态条件估计自适应分配预测预算。TraceSpec 相比 DSpark 基线将重放吞吐量提升 12.5% 至 22.6%，并在 Qwen3-4B 上使接受长度增加 3.3% 至 10.0%。
Source:arXiv 自然语言处理 · arxiv.org