论文提出基于 Grassmann 流的无注意力模型架构

研究人员提出一种基于 Grassmann 流的无注意力架构，通过低秩子空间变形实现序列长度的线性扩展计算。在 Wikitext-2 基准上，1300 万至 1800 万参数模型的验证困惑度在同规模 Transformer 的 10% 至 15% 以内。