SMat-Attention：结构化长上下文序列建模

研究提出结构化矩阵注意力 SMat-Attention，通过 VC 维数 $d$ 调控因果掩码的路由结构，在全注意力与线性注意力之间建立可调权衡。对序列长度 $T$，其硬路由计算复杂度为 $O(T^{2-3/d}+T)$，在流式解码中仅需 $O(T^{1-1/d})$ 缓存状态即可实现单 token 常数时间解码。