arXiv 机器学习· Tianzhe Chu, Druv Pai, Yi Ma·· 8 小时前AI 评分43
面向可扩展预训练与持续学习的嵌套稀疏架构 Nestor
Nested Sparsity for Scalable Pretraining and Continual Learning
AI 导读
研究团队提出基于嵌套稀疏机制的 Transformer 架构 Nestor，将 attention 算子与 MoE 算子的稀疏性分层组合，在同等计算量和稀疏度下预训练表现优于传统 MoE。Nestor 能更有效适配长上下文和新领域并减少旧领域遗忘，优势随模型与数据规模扩大持续保持，其代码与 checkpoints 已在 GitHub 开源。
来源：arXiv 机器学习 · arxiv.org