arXiv 机器学习· Xiuqi Liu, Oveys Delafrooz Noroozi, Upamanyu Madhow·· 9 小时前AI 评分35
MASS：面向抗泄漏推理的多掩码选择性自蒸馏
MASS: Multi-mask Selective Self-Distillation for Leakage-Resilient Reasoning
AI 导读
研究人员提出多掩码选择性自蒸馏（MASS），通过对单一已验证解生成多个独立掩码视图来聚合互补预测，解决策略内自蒸馏局限于单一推理轨迹的问题。该方法能够选择性传递可靠的 token 级修正，并自适应聚焦于有影响力的参考片段。在数学推理基准和多个模型族上，MASS 的表现均持续优于强自蒸馏基线。
来源：arXiv 机器学习 · arxiv.org