WAKMan：感知工作负载的 KV cache 管理器

研究人员提出感知负载的 KV cache 管理器 WAKMan，无需获知请求类型或读取提示词即可根据实时流量自适应选择淘汰策略。针对智能体与长对话在命中偏好上的差异，WAKMan 解决了单一策略无法适应多重混合负载的问题，相比 vLLM 默认的 LRU 策略将缓存命中率平均提升 5 个百分点，并取得最低的平均与最差情况最优性差距。