arXiv 机器学习· Maharani A. P. Irawan, Kuntai Du, Jiayi Yao, Dongjoo Seo, Yuyang Huang, Haryadi S. Gunawi, Junchen Jiang·· 7 小时前AI 评分41
Gandalf：延长大语言模型服务中 KV cache 卸载的闪存寿命
Gandalf: Flash Shall Not Die! Increasing Flash Storage Lifetime for KV Cache Offloading in LLM Serving
AI 导读
研究人员提出首个具备 SSD 寿命感知能力的 KV cache 卸载系统 Gandalf，在保持缓存命中率的同时将 SSD 寿命平均延长 7.3X。该系统结合注意力类型等应用层信息，优先准入全注意力（full-attention）生成的 KV cache 写入 SSD，以解决多轮对话和智能体负载下写入过量的问题。该方案还可进一步拓展至高带宽闪存（HBF）等基于闪存的存储介质。
来源：arXiv 机器学习 · arxiv.org