热点事件持续更新
研究团队提出嵌套稀疏架构Nestor并开源
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月26日，研究团队在arXiv发表成果，提出基于嵌套稀疏机制的新型Transformer架构Nestor。该架构将attention算子与MoE算子的稀疏性进行分层组合。实验表明，在同等计算量和稀疏度条件下，Nestor的预训练表现优于传统MoE，并能更有效地适配长上下文和新领域，同时减少对旧领域的遗忘；这些优势随着模型和数据规模的扩大持续保持。目前，Nestor的相关代码与checkpoints已在GitHub开源。
AI 根据报道生成 · 3 小时前更新
最新进展10月26日 12:00
研究团队提出嵌套稀疏架构Nestor，预训练性能超越传统MoE并已开源代码与权重。报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv 机器学习面向可扩展预训练与持续学习的嵌套稀疏架构 Nestor
研究团队提出基于嵌套稀疏机制的 Transformer 架构 Nestor，将 attention 算子与 MoE 算子的稀疏性分层组合，在同等计算量和稀疏度下预训练表现优于传统 MoE。Nestor 能更有效适配长上下文和新领域并减少旧领域遗忘，优势随模型与数据规模扩大持续保持，其代码与 checkpoints 已在 GitHub 开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。