Skip to content
Hot storiesContinuously updated

复旦团队提出长上下文混合架构SWLA策略

1 reports1 reporting sourcesUpdated 5 hours ago

Start here

AI overview

2026年11月2日，复旦创智OpenMOSS团队系统研究了融合全注意力、滑窗注意力（SWA）与门控线性注意力（GLA/GDN）的长上下文混合架构机制。在覆盖376M至3B规模的模型实验中，团队发现滑窗混合架构更擅长长度外推，而线性混合架构更利于长文扩长训练。综合上述特性，团队提出了滑窗线性注意力（SWLA）策略，该策略在RULER任务中成功实现了从4k到64k的16倍免训练外推，并达到100%准确率。

AI-generated from reports · Updated 5 hours ago

Latest developmentsNov 2 11:34
复旦团队提出滑窗线性注意力策略，实现从4k到64k的16倍免训练长文外推及100%准确率。

Report timeline

Follow the reports to see different sides of the story.

Nov 2
  1. AITNT · AI头条
    混合架构用线性注意力还是滑窗注意力？复旦创智OpenMOSS团队：我全都要

    复旦创智团队系统研究了融合全注意力、滑窗注意力（SWA）与门控线性注意力（GLA/GDN）的长上下文混合架构机制。实验覆盖 376M 至 3B 规模，发现滑窗混合擅长长度外推，而线性混合更利于长文扩长训练。团队提出的滑窗线性注意力（SWLA）策略，在 RULER 任务中实现从 4k 到 64k 的 16 倍免训练外推及 100% 准确率。

Story heat trend

Current heat 9·Comparable peak 10（Nov 2 12:00）·Comparable change, last 24 hours–

02.557.510Nov2Nov2Nov2Nov2

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.