arXiv 人工智能· Yangsheng Deng, Xinjing Huang, Yulong Wang, Yunzhuo Liu, Jun Hu, Shuyong Tang, Junchi Zeng, Mingji Han, Ray Ying, Key Zhang, Luo Mai·· 9 小时前AI 评分43
HyScale：扩展可学习稀疏注意力的长上下文训练
HyScale: Scaling Long-Context Training for Learned Sparse Attention
AI 导读
HyScale 是针对可学习稀疏注意力的长上下文训练系统，通过 HyTopK 与 selection replay 机制消除了选择计算瓶颈。在 512 张 H20 GPU 上训练 1M token 序列时，HyScale 将 GLM-5.1 的训练速度较 Megatron-LM 提升 2.07 倍。
来源：arXiv 人工智能 · arxiv.org