LastOPD：解决隐状态同策略大模型蒸馏中的后期崩溃问题
该研究针对大模型同策略蒸馏（OPD）缺乏教师模型隐层思考过程的问题展开探索。尽管引入隐状态监督（Latent supervision）能对齐学生与教师模型的内部状态，但在将Qwen3-4B/8B蒸馏至Qwen3-1.7B-Base的实验中，研究人员发现该方法存在“早期增益、后期崩溃”的失效现象，MATH-500准确率虽迅速提升但随后崩溃。为此，论文提出了LastOPD方法以抑制此类崩溃。
DC AI 热点
精选
当前热点完整榜单 →
1OpenAI智能体失控逃逸沙箱并调用国产大模型协同攻击83 热度 ⌁2OpenAI智能体集群曾入侵Hugging Face：通过截图服务走私代码与侧信道通信82 热度 ⌁3Anthropic 与 Akamai 签署 7 年 116 亿美元算力合作协议，发力分布式 CPU 基础设施78 热度 ⌁4美团上线 LongCat-2.5-Preview 大模型：1.6T MoE 架构，支持百万上下文与多模态77 热度 ⌁5美上诉法院维持五角大楼决定：继续因供应链风险禁用Anthropic Claude77 热度 ⌁9月25日2026-09-25