热点事件持续更新
研究揭示注意力汇聚源于点积注意力机制
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月15日，arXiv发表的一篇机器学习论文探讨了图 Transformer 为何不会汇聚到同一个 token。研究发现，图 Transformer 模型 GRIT 在分子图上极少形成注意力汇聚（attention sink），且训练图规模越大汇聚越少，与大语言模型（LLM）的趋势相反。实验表明，注意力评分函数是造成这一差异的核心原因：当把 GRIT 的门控 logit 替换为点积注意力后，其汇聚率从 0.09 飙升至 0.68。研究据此指出，注意力汇聚现象是点积注意力的特性，而非 Transformer 架构本身的固有属性。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
研究证实注意力汇聚源于点积注意力，将GRIT替换为点积注意力后汇聚率从0.09升至0.68。报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv 机器学习为什么图 Transformer 不会汇聚到同一个 token？
研究发现图 Transformer 模型 GRIT 在分子图上极少形成注意力汇聚（attention sink），且训练图规模越大汇聚越少，与 LLM 趋势相反。实验表明注意力评分函数是核心原因，若将 GRIT 的门控 logit 替换为点积注意力，其汇聚率会从 0.09 飙升至 0.68。作者指出注意力汇聚是点积注意力的特性而非 Transformer 本身的固有属性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。