arXiv 自然语言处理· Valentino Maiorca, Walter Nelson, Francesco Locatello·· 4 小时前AI 评分39
大语言模型边际注意力空间的涌现结构研究
Emergent Structure in the Marginal Attention Space of Language Models
AI 导读
一项针对 60+ 款 LLM 的研究发现，在边缘化 query 后的“边际注意力空间”中，沿 token 维度存在跨模型保守的文本固有信号，沿注意力头维度则呈现模型私有特征。研究在理论上将其与输入输出 Jacobian 矩阵建立联系，并据此提出解耦的 KV cache 驱逐预算估算方法。在标准基准测试中，离线预计算的每头预算结合免训练 token 评分取得了具有竞争力的表现。
来源：arXiv 自然语言处理 · arxiv.org