热点事件持续更新
研究团队提出延长SSD寿命的KV缓存卸载系统Gandalf
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
2026年10月23日,arXiv论文公布了首个具备SSD寿命感知能力的KV缓存(KV cache)卸载系统Gandalf。该系统针对大语言模型服务在多轮对话与智能体负载下SSD写入过量的问题,结合注意力类型等应用层信息,优先将全注意力(full-attention)生成的KV缓存准入写入SSD。评估显示,Gandalf在保持缓存命中率的同时,将SSD寿命平均延长了7.3倍。此外,该方案还可进一步拓展至高带宽闪存(HBF)等基于闪存的存储介质。
AI 根据报道生成 · 7 小时前更新
最新进展10月23日 12:00
研究团队提出KV缓存卸载系统Gandalf,可将SSD寿命平均延长7.3倍并保持缓存命中率。报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv 机器学习Gandalf:延长大语言模型服务中 KV cache 卸载的闪存寿命
研究人员提出首个具备 SSD 寿命感知能力的 KV cache 卸载系统 Gandalf,在保持缓存命中率的同时将 SSD 寿命平均延长 7.3X。该系统结合注意力类型等应用层信息,优先准入全注意力(full-attention)生成的 KV cache 写入 SSD,以解决多轮对话和智能体负载下写入过量的问题。该方案还可进一步拓展至高带宽闪存(HBF)等基于闪存的存储介质。
本事件热度走势
当前热度 8·可比范围峰值 10(10月23日 13:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。