热点事件持续更新
研究提出Leverage指标量化LLM权重更新效益
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月30日，arXiv公开的一项机器学习研究提出名为“leverage”（杠杆率）的指标，用于量化大语言模型权重更新的单位效益。研究表明，模型后训练阶段的杠杆率跨越四个数量级，且远超预训练阶段。在Olmo-3与Tülu-3等模型上的测试显示，SFT（监督微调）阶段的杠杆率约为随机基准的5倍，RLVR阶段达400至1,500，而DPO阶段则高达400至23,000。此外该研究发现，在缺少fp32主副本的情况下进行bf16训练，会导致36%至99%的坐标冻结，并将杠杆率最高拉低7倍。
AI 根据报道生成 · 3 小时前更新
最新进展10月30日 12:00
研究提出leverage指标，揭示后训练权重更新效益远超预训练，且缺少fp32副本将严重降低效益。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv 机器学习大语言模型权重更新带来了什么：跨训练阶段的杠杆率分析
研究提出 leverage 指标量化大语言模型权重更新的单位效益，发现后训练的杠杆率跨越四个数量级且远超预训练。在 Olmo-3 与 Tülu-3 等模型中，SFT 杠杆率约为随机基准的 5 倍，RLVR 达 400-1,500，DPO 则高达 400-23,000。此外，缺少 fp32 主副本的 bf16 训练会冻结 36-99% 坐标并将杠杆率降低最高 7 倍。
本事件热度走势
当前热度 8·可比范围峰值 9（10月30日 15:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。