arXiv 机器学习· Tiejin Chen, Maunil Vyas, Huaiyuan Yao, Hua Wei·· 5 小时前AI 评分47
引导向量作为 LLM 后训练的训练信号
Steering Vectors as a Training Signal in LLM Post-Training
AI 导读
研究提出将引导向量（SVs）从推理控制手段转为 LLM 后训练的参数更新信号，覆盖 SFT、知识蒸馏及 GRPO 强化学习。在从思考模式教师模型蒸馏时，注入 SV 带来最高 12% 的性能提升，且能在强化学习中通过优势修复从全错样本中恢复有效学习信号。该研究同时厘清了代码生成与跨模型族迁移等失效边界，相关代码已开源。
来源：arXiv 机器学习 · arxiv.org