arXiv 自然语言处理· Anjulie Agrusa, Andrei Panferov, Elizabeth Wei, Keith Wyss, Paul Gibbons, Erik Schultheis, Jinhang Choi, Frank Sun, Tijmen Blankevoort, Dan Alistarh·· 5 小时前AI 评分43
NVFP4 训练的关键因素：低精度预训练方案对比研究
What Matters for NVFP4 Training? A Comparative Study of Low-Precision Pretraining Recipes
AI 导读
研究人员系统评估了用于稠密 8B 与 30B-A3B MoE 模型（训练达 1T tokens）的 NVFP4 预训练方案，并在中等规模下取得了迄今与 BF16 loss gap 最小的 FP4 训练表现。优化方案结合了比随机舍入量化误差更低的无偏梯度估计等技术。消融实验证实，选择性保留高精度层对规模化恢复精度必不可少，且反向传播中各张量从去偏中获益程度不同。
来源：arXiv 自然语言处理 · arxiv.org