研究揭示大模型边际注意力结构并优化KV缓存驱逐

2026年10月5日，arXiv发表的一项针对60多款大语言模型（LLM）的研究发现，在边缘化query后的“边际注意力空间”中，沿token维度存在跨模型保守的文本固有信号，沿注意力头维度则呈现模型私有特征。研究在理论上将该现象与输入输出Jacobian矩阵建立联系，并据此提出了解耦的KV cache（键值缓存）驱逐预算估算方法。在标准基准测试中，离线预计算的每头预算结合免训练token评分取得了具有竞争力的表现。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。