arXiv 人工智能· Jiaming Hu, Zhida Jiang, Zhaolong Xing, Yu Li, Zhen Chen, Ke Zhang·· 10 小时前AI 评分38
LRMoE：面向显存受限节点高效 MoE 训练的需求侧负载重校准系统
LRMoE: Demand-Side Load Re-Calibration for Efficient MoE Training on Memory-Constrained Nodes
AI 导读
研究团队提出面向显存受限节点的内存感知 MoE 训练系统 LRMoE，以解决稀疏 MoE 路由不均导致的计算与通信瓶颈。该系统通过在反向传播中重校准负载并筛选 token-expert 对，结合容量感知路由与物理压缩降低通信及显存开销。
来源：arXiv 人工智能 · arxiv.org