研究发现更大注意力头维度可提升长上下文检索性能

1. 12:00
   arXiv 机器学习

   注意力头维度对语言模型长上下文检索至关重要

   研究表明，在固定模型参数规模下，采用更宽的注意力头能显著提升大语言模型的长上下文检索性能。实验发现，头维度对预训练损失和短上下文非检索任务影响较小，但更宽的头拥有更高比例的检索头，将更多参数与检索关联。消融实验进一步证实，即使在持续预训练中冻结注意力投影权重，更宽的头仍能提升检索表现，并促使嵌入向量与 MLP 等组件更有效适应。

当前热度 9·可比范围峰值 10（10月26日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。