arXiv 机器学习· Zhexi Lu, Subhajit Chaudhury, Tejaswini Pedapati, Keerthiram Murugesan, Lei Yu·· 6 小时前AI 评分34
激活条件自蒸馏 ACSD
Activation-Conditioned Self-Distillation
AI 导读
激活条件自蒸馏（ACSD）通过对比正确与其余生成轨迹的激活值提取导向向量，无需参考文本或更新教师参数即可完成蒸馏。学生模型在推理时独立运行，在测试的 5 个模型上均取得 4 个数学基准最高平均准确率。在 DeepSeek-R1-0528-Qwen3-8B 上，其数学平均准确率达 71.9%，LiveCodeBench v6 pass@12 达 70.9%，均优于 OPSD 基线。
来源：arXiv 机器学习 · arxiv.org