大规模 MoE：如何在真实硬件上实现稀疏模型加速

针对大规模 MoE 模型在 GPU 上因路由通信与显存受限的扩展难题，Cerebras 提出了基于晶圆级引擎 WSE 的优化方案。WSE 拥有约 900 倍于最新单张 GPU 的片上 SRAM，通过权重流（weight streaming）技术实现存算分离。该架构无需复杂的专家并行，仅凭数据并行即可在单台设备上支持万亿参数 MoE 模型的训练。