Hugging Face·· 7 小时前精选AI 评分69
Allen AI 发布开源 MoE 训练框架 Olmo-core 3
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
Allen AI 发布开源大规模混合专家模型训练框架 Olmo-core 3，支持将 MoE 训练扩展至万亿参数级别。新框架采用 GPU 专家常驻设计并结合 DDP、专家并行、Grouped GEMM 与 MXFP8 格式，在 8 块 NVIDIA B300 GPU 上将 47B 参数 MoE 的吞吐量提升至前代实现的 2.7 倍。
推荐理由
Allen AI开源了支持万亿参数MoE训练的重构架构，为学术界和中小团队训练超大规模稀疏模型提供了完整实践路径。
来源：Hugging Face · huggingface.co