arXiv 机器学习· Andrew Gao, William Gao·· 5 hours agoAI score52
研究发现 bf16 舍入会丢弃多数 RL 策略更新，提出一行代码修复方案 Fair Cast
bf16 Rounding Silently Discards Most RL Policy Updates: A Hidden Training-Inference Mismatch and an Unbiased One-Line Fix
Not yet translated; shown in Chinese.
AI guide
论文揭示了大语言模型强化学习后训练中四舍五入到 bf16 会丢弃绝大多数单步更新，导致生成数据的推理策略滞后优化器 50-150 步。研究团队提出 Fair Cast 方案，通过随机舍入或误差反馈导出无偏副本并在提供服务的副本上计算损失，仅需一行代码且不增加超参数。
Source:arXiv 机器学习 · arxiv.org