复杂淘汰策略为何在 LLM 前缀缓存中失效：重新思考缓存替换机制

一项针对两家公司生产环境数据的研究评估了 14 种淘汰算法，发现在大语言模型前缀缓存中，传统复杂策略相比 LRU 几乎没有优势。原因在于活跃会话的规律节奏使时间局部性极具预测性，但长尾会话与随长度激增的未命中算力开销仍带来新挑战。研究建议以 LRU 为基础融合计算感知淘汰等机制，并将开源相关 traces 与模拟器。