arXiv 自然语言处理· Val\'erie Castin, Keitaro Sakamoto, Anastasiia Filippova, Jo\~ao Monteiro, Marco Cuturi, Pierre Ablin·· 1 天前AI 评分46
KV-Lingo：通过知识蒸馏实现跨模型 KV 缓存转换
KV-Lingo: Learning KV-Cache Translators with Distillation
AI 导读
KV-Lingo 提出了一种通过知识蒸馏训练跨模型 KV 缓存转换器的方法，利用轻量线性映射将源模型的 KV cache 转换为目标模型可用格式，消除了模型切换时的重复 prefill 开销。
来源：arXiv 自然语言处理 · arxiv.org