arXiv 机器学习· Andrey Goncharov, Daniil Vyazhev, Simon Epanov, Alexey Zaytsev·· 9 小时前AI 评分33
基于熵增益采样与答案混合的递归离线知识蒸馏
Recursive Offline Distillation via Entropy Gain Sampling and Answer Mixing
AI 导读
研究人员提出一种结合熵增益采样与答案混合的递归离线知识蒸馏方法，用于在无法完全访问教师模型内部表示时向小模型迁移推理链。该方法在 3 个 3-4B 开源模型上，借助 70-72B 辅助中型模型按熵差加权采样推理链并补充单 token 真实答案。在相近数据预算下，平均得分达到 57.15 ± 1.01，显著优于原生蒸馏的 51.61，且学习曲线更陡峭。
来源：arXiv 机器学习 · arxiv.org