arXiv 机器学习· Xiaofei Yin, Tong Chu, Jiyuan Fu, Jun Lan, Shuheng Zhou, Huijia Zhu·· 6 小时前AI 评分33
用于保留基础能力的慢快多教师 On-Policy 知识蒸馏方法 SF-MOPD
Slow-Fast Multi-Teacher On-Policy Distillation for Capability Preservation
AI 导读
研究人员提出慢快多教师 On-Policy 知识蒸馏方法 SF-MOPD，通过将教师直接更新的快模型与快模型指数移动平均的慢模型相耦合，以解决多模态大语言模型在多教师蒸馏中出现的通用能力退化问题。该方法在对数概率空间中仅剔除使快模型偏离慢模型的更新分量，多模型尺寸实验表明其优于普通 MOPD，能有效增强专用多模态能力并减少通用能力基准上的退化。
来源：arXiv 机器学习 · arxiv.org