STILL：首个内容感知的层内混合注意力架构

哈工大（深圳）等机构提出首个内容感知的层内混合注意力架构 STILL，利用自显著性分数将关键 token 路由至 Softmax 注意力，其余交由线性注意力处理。搭配保范数特征映射 NP-Map，该方案仅耗费 0.04B 训练 token 完成大语言模型线性化，并在 16K 上下文下实现 80% 显存削减与 83% 预填充加速。