arXiv 人工智能· Hengjie Zhu, Dayan Wu, Xinze Liu, Peng Fu, Zheng Lin, Weiping Wang·· 7 小时前AI 评分36
RECAP：基于局部与持久化内存的多模态投机解码上下文感知预测重用
RECAP: Context-Aware Prediction Recycling with Request-Local and Persistent Memories for Multimodal Speculative Decoding
AI 导读
研究提出免训练多模态投机解码方法 RECAP，将目标预测存储于 1 至 3 个 token 键下，结合局部上下文与持久化内存以消除预测混淆。无需辅助草稿模型，RECAP 在 7 个单轮评测基准上使 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 分别获得 1.66x 与 1.56x 的平均解码加速，超越基线 Token Recycling 的 1.51x 和 1.37x。代码已开源。
来源：arXiv 人工智能 · arxiv.org