热点事件持续更新
复旦团队提出长上下文混合架构SWLA策略
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月2日，复旦创智OpenMOSS团队系统研究了融合全注意力、滑窗注意力（SWA）与门控线性注意力（GLA/GDN）的长上下文混合架构机制。在覆盖376M至3B规模的模型实验中，团队发现滑窗混合架构更擅长长度外推，而线性混合架构更利于长文扩长训练。综合上述特性，团队提出了滑窗线性注意力（SWLA）策略，该策略在RULER任务中成功实现了从4k到64k的16倍免训练外推，并达到100%准确率。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 11:34
复旦团队提出滑窗线性注意力策略，实现从4k到64k的16倍免训练长文外推及100%准确率。报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- AITNT · AI头条混合架构用线性注意力还是滑窗注意力？复旦创智OpenMOSS团队：我全都要
复旦创智团队系统研究了融合全注意力、滑窗注意力（SWA）与门控线性注意力（GLA/GDN）的长上下文混合架构机制。实验覆盖 376M 至 3B 规模，发现滑窗混合擅长长度外推，而线性混合更利于长文扩长训练。团队提出的滑窗线性注意力（SWLA）策略，在 RULER 任务中实现从 4k 到 64k 的 16 倍免训练外推及 100% 准确率。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。