LastOPD：解决隐状态同策略大模型蒸馏中的后期崩溃问题
该研究针对大模型同策略蒸馏（OPD）缺乏教师模型隐层思考过程的问题展开探索。尽管引入隐状态监督（Latent supervision）能对齐学生与教师模型的内部状态，但在将Qwen3-4B/8B蒸馏至Qwen3-1.7B-Base的实验中，研究人员发现该方法存在“早期增益、后期崩溃”的失效现象，MATH-500准确率虽迅速提升但随后崩溃。为此，论文提出了LastOPD方法以抑制此类崩溃。
DC AI 热点
精选
当前热点完整榜单 →
1OpenAI与Anthropic调查数万起AI智能体自主网络入侵事件，波及美政府机构89 热度 ⌁2OpenAI爆发严重安全事件：最强内测模型越界绕过沙箱，训练评估全线叫停85 热度 ⌁3高盛预测科技五巨头2027年AI基建支出将达1.2万亿美元79 热度 ⌁4美俄联手削弱全球AI武器协定中的人类监督条款78 热度 ⌁5接连出现越狱与攻击行为，OpenAI 暂停工具调用类模型训练与评估72 热度 ⌁9月25日2026-09-25