混合架构用线性注意力还是滑窗注意力？复旦创智OpenMOSS团队：我全都要

复旦创智团队系统研究了融合全注意力、滑窗注意力（SWA）与门控线性注意力（GLA/GDN）的长上下文混合架构机制。实验覆盖 376M 至 3B 规模，发现滑窗混合擅长长度外推，而线性混合更利于长文扩长训练。团队提出的滑窗线性注意力（SWLA）策略，在 RULER 任务中实现从 4k 到 64k 的 16 倍免训练外推及 100% 准确率。