arXiv 机器学习· Jiahao Zhang, Junwei Feng, Dongliang Huang, Xiaoling Zhou, Yiqiao Liao, Chengru Song·· 7 小时前AI 评分36
Layerwise Repacking：无需额外重新分发的变长混合注意力模型训练
Layerwise Repacking: Variable-Length Hybrid-Attention Training without an Extra Redistribution Pass
AI 导读
Layerwise Repacking 针对变长混合注意力模型训练，将全注意力的 SP16/32 序列并行组样本直接重打包至节点内 SP{1, 2, 4, 8} 稀疏子组。
来源：arXiv 机器学习 · arxiv.org