大规模 MoE：如何在真实硬件上加速稀疏模型

Cerebras 探讨了大规模混合专家（MoE）模型在真实硬件上的扩展挑战与优化方案。GPU 训练超大 MoE 依赖专家并行等复杂组合，面临显存瓶颈、负载均衡损害模型质量以及 all-to-all 通信开销等痛点。Cerebras WSE 拥有约为最新单 GPU 900 倍的片上 SRAM，配合权重流技术将模型参数移至外部存储并流式传输，仅靠数据并行即可在单设备上训练万亿参数 MoE 模型。