热点事件持续更新
研究团队提出样本自适应零阶后训练算法SAZO
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月12日，研究人员在arXiv上公布了样本自适应零阶优化算法SAZO，旨在解决大语言模型微调中均匀采样带来的方差问题。该方法通过在线学习样本重要性并自适应分配查询，利用定向差分估算样本梯度范数，维持每样本指数移动平均。相比现有的MeZO方法，SAZO仅增加了O(N)级别的标量状态，无需额外的模型评估。在4个模型族上的实验表明，达到相同训练损失时，该方法的查询次数最多可实现6倍收敛加速。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
研究团队提出零阶优化算法SAZO，通过自适应分配查询实现最高6倍收敛加速。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv 机器学习样本自适应零阶后训练优化方法 SAZO
研究人员提出样本自适应零阶优化算法 SAZO，通过在线学习样本重要性并自适应分配查询，解决大语言模型微调中均匀采样的方差问题。该方法利用定向差分估算样本梯度范数，维持每样本指数移动平均且相比 MeZO 仅增加 $O(N)$ 标量状态，无需额外模型评估。在 4 个模型族上的实验表明，达到相同训练损失时查询次数最多可实现 6x 收敛加速。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。