热点事件持续更新
研究团队提出分离式LLM缓存管理框架KVLearn并开源
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月22日，研究者在arXiv发表论文，提出面向分离式LLM服务系统的推理框架KVLearn。该框架通过结合预测器PRP、留存评分CARS与自适应控制器ATC，优化KV cache的留存决策。实验结果表明，在文本与多模态负载下，KVLearn相较于LRU-Pool和Mooncake基线，将端到端首token时间分别最多降低38%和33%，并将跨节点KV传输量降低达53%。目前，该框架的相关代码已正式开源。
AI 根据报道生成 · 2 小时前更新
最新进展10月22日 12:00
研究团队提出KVLearn框架优化KV缓存留存决策，代码已开源。报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- arXiv 机器学习留还是不留：分离式 LLM 服务系统中的 KV cache 留存学习
研究者提出分离式 LLM 推理框架 KVLearn，结合预测器 PRP、留存评分 CARS 与自适应控制器 ATC 优化 KV cache 留存决策。在文本与多模态负载下，其端到端首 token 时间较 LRU-Pool 和 Mooncake 基线分别降低最多 38% 和 33%，跨节点 KV 传输量降低达 53%，相关代码已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。