arXiv 机器学习· Shikhar Shiromani·· 7 小时前AI 评分46
大语言模型权重更新带来了什么：跨训练阶段的杠杆率分析
What a Weight Update Buys: Leverage Across Training Stages
AI 导读
研究提出 leverage 指标量化大语言模型权重更新的单位效益，发现后训练的杠杆率跨越四个数量级且远超预训练。在 Olmo-3 与 Tülu-3 等模型中，SFT 杠杆率约为随机基准的 5 倍，RLVR 达 400-1,500，DPO 则高达 400-23,000。此外，缺少 fp32 主副本的 bf16 训练会冻结 36-99% 坐标并将杠杆率降低最高 7 倍。
来源：arXiv 机器学习 · arxiv.org