arXiv 机器学习· Dancheng Liu, Markus M\"uller, Rupak Vignesh Swaminathan, Jing Liu, Srikanth Ronanki, Aram Galstyan·· 16 hours agoAI score35
C3：面向长上下文 SpeechLLM 推理的语音引导 KV 检索
C3: Speech-Guided KV Retrieval for Long-Context SpeechLLM Inference
Not yet translated; shown in Chinese.
AI guide
研究者提出面向长上下文 SpeechLLM 推理的语音引导检索方法 C3，以缓解音频 KV cache 占用的显存与解码开销。C3 通过分层键空间索引组织音频 KV，让共享查询头竞争检索预算，并自适应调节检索分辨率。在 4 个 SpeechLLM 的语音识别、翻译和摘要测试中，C3 在同等 KV 访问预算下表现最优，有效提升了解码效率与显存扩展性。
Source:arXiv 机器学习 · arxiv.org