为什么图 Transformer 不会汇聚到同一个 token？

研究发现图 Transformer 模型 GRIT 在分子图上极少形成注意力汇聚（attention sink），且训练图规模越大汇聚越少，与 LLM 趋势相反。实验表明注意力评分函数是核心原因，若将 GRIT 的门控 logit 替换为点积注意力，其汇聚率会从 0.09 飙升至 0.68。作者指出注意力汇聚是点积注意力的特性而非 Transformer 本身的固有属性。