热点事件持续更新
研究揭示VLM在线策略蒸馏机制与缺陷继承现象
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月16日，arXiv发布的一项机器学习研究揭示，视觉语言模型（VLM）在采用在线策略蒸馏（OPD）时，不仅会传递知识，还会继承教师模型在学生轨迹上的失败模式与行为缺陷。实验显示，在教师表现良好的ChartQA任务上（教师完成率达99%），OPD仅使用10%的数据即可达到接近全量SFT 1.4个准确率点的表现；但在教师表现欠佳的Geometry3K任务上（教师未完成率达22%），OPD的准确率比SFT低7.9个百分点，并使SFT学生模型的完成率从76%降至62%，反映出学生模型会继承教师模型的缺陷。
AI 根据报道生成 · 3 小时前更新
最新进展10月16日 12:00
研究显示OPD在蒸馏知识的同时会继承教师缺陷，并在部分任务中拉低学生表现。报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- arXiv 机器学习视觉语言模型中的 On-Policy 知识蒸馏会继承教师模型的行为缺陷
视觉语言模型（VLM）在采用 On-Policy 蒸馏（OPD）时不仅传递知识，还会继承教师模型在学生轨迹上的失败模式。在 ChartQA 上，教师完成率为 99%，OPD 仅用 10% 数据就达到接近全量 SFT 1.4 个准确率点的表现；但在教师未完成率达 22% 的 Geometry3K 上，OPD 比 SFT 低 7.9 个点，且使 SFT 学生的完成率从 76% 降至 62%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。