arXiv 机器学习· Dong Liu, Yanxuan Yu, Eric Jiang, Shu Wang, Ying Nian Wu·· 2 小时前AI 评分43
留还是不留：分离式 LLM 服务系统中的 KV cache 留存学习
To Keep or Not to Keep: Learning KV Cache Retention in Disaggregated LLM Serving Systems
AI 导读
研究者提出分离式 LLM 推理框架 KVLearn，结合预测器 PRP、留存评分 CARS 与自适应控制器 ATC 优化 KV cache 留存决策。在文本与多模态负载下，其端到端首 token 时间较 LRU-Pool 和 Mooncake 基线分别降低最多 38% 和 33%，跨节点 KV 传输量降低达 53%，相关代码已开源。
来源：arXiv 机器学习 · arxiv.org