arXiv 机器学习· Shijie Li, Yilin Gao, Tieyuan Chen, Yun Luo, Weiyao Lin, Hang Yu·· 8 小时前AI 评分36
GIFT：面向蒸馏增强推理 RL 的梯度感知过滤方法
GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL
AI 导读
研究者提出 GIFT 方法，通过分解蒸馏梯度并结合覆盖退火调度，解决推理强化学习与模仿蒸馏之间的优化冲突。该方法在 token 级别将蒸馏梯度拆分为与 RL 梯度平行和正交的分量，以此量化冲突与引导价值，优先过滤冲突更新。实验表明，GIFT 在数学和逻辑推理基准测试中超越强基线，困难数学推理任务相对提升最高达 9.5%。
来源：arXiv 机器学习 · arxiv.org