ホットトピック継続更新中
复旦团队提出长上下文混合架构SWLA策略
1 件の報道1 件の報道元4 時間前 更新
まずこの件を把握する
AI 概要
2026年11月2日，复旦创智OpenMOSS团队系统研究了融合全注意力、滑窗注意力（SWA）与门控线性注意力（GLA/GDN）的长上下文混合架构机制。在覆盖376M至3B规模的模型实验中，团队发现滑窗混合架构更擅长长度外推，而线性混合架构更利于长文扩长训练。综合上述特性，团队提出了滑窗线性注意力（SWLA）策略，该策略在RULER任务中成功实现了从4k到64k的16倍免训练外推，并达到100%准确率。
AI が報道をもとに生成 · 4 時間前 更新
最新の進展11月2日 11:34
复旦团队提出滑窗线性注意力策略，实现从4k到64k的16倍免训练长文外推及100%准确率。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月2日
- AITNT · AI头条混合架构用线性注意力还是滑窗注意力？复旦创智OpenMOSS团队：我全都要
复旦创智团队系统研究了融合全注意力、滑窗注意力（SWA）与门控线性注意力（GLA/GDN）的长上下文混合架构机制。实验覆盖 376M 至 3B 规模，发现滑窗混合擅长长度外推，而线性混合更利于长文扩长训练。团队提出的滑窗线性注意力（SWLA）策略，在 RULER 任务中实现从 4k 到 64k 的 16 倍免训练外推及 100% 准确率。
このストーリーのホット度の推移
現在のホット度 9·比較可能範囲のピーク 10（11月2日 12:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。