arXiv 机器学习· Haiyuan Wan, Yanyi Li, Weicheng Lin, Cong Fang·· 7 小时前AI 评分34
样本自适应零阶后训练优化方法 SAZO
Sample-Adaptive Zeroth-Order Post-Training
AI 导读
研究人员提出样本自适应零阶优化算法 SAZO，通过在线学习样本重要性并自适应分配查询，解决大语言模型微调中均匀采样的方差问题。该方法利用定向差分估算样本梯度范数，维持每样本指数移动平均且相比 MeZO 仅增加 $O(N)$ 标量状态，无需额外模型评估。在 4 个模型族上的实验表明，达到相同训练损失时查询次数最多可实现 6x 收敛加速。
来源：arXiv 机器学习 · arxiv.org