热点事件持续更新
研究团队提出NVFP4低精度预训练配方及对比研究
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月，研究人员发布了NVFP4低精度预训练方案的对比研究，系统评估了面向稠密8B与30B-A3B MoE模型（训练规模达1T tokens）的NVFP4预训练方案。该优化方案结合了比随机舍入量化误差更低的无偏梯度估计等关键技术，在中等规模下取得了迄今与BF16损失差距最小的FP4训练表现。消融实验进一步证实，选择性保留高精度层对规模化恢复精度必不可少，且在反向传播过程中，各张量从去偏技术中获益的程度各有不同。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 12:00
研究团队发布NVFP4预训练方案对比研究，在中等规模下取得迄今最接近BF16精度的FP4表现。报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv 自然语言处理NVFP4 训练的关键因素：低精度预训练方案对比研究
研究人员系统评估了用于稠密 8B 与 30B-A3B MoE 模型（训练达 1T tokens）的 NVFP4 预训练方案，并在中等规模下取得了迄今与 BF16 loss gap 最小的 FP4 训练表现。优化方案结合了比随机舍入量化误差更低的无偏梯度估计等技术。消融实验证实，选择性保留高精度层对规模化恢复精度必不可少，且反向传播中各张量从去偏中获益程度不同。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。