arXiv 人工智能· Han Wang, Zhitao Wang, Natalia Frumkin, Xuanwu Yin, Alireza Khodamoradi, Dong Li, Emad Barsoum·· 10 小时前AI 评分41
在 MXFP4 下训练 MoE LLM：如何缩小与 BF16 的差距
Training an MoE LLM in MXFP4: How We Closed the Gap to BF16
AI 导读
研究人员提出开源训练配方 ALTO，结合随机 Hadamard 变换、随机舍入与权重去振荡技术，在 MXFP4 格式下成功训练 20B 参数 MoE 模型 GPT-OSS-20B。
来源：arXiv 人工智能 · arxiv.org