arXiv 人工智能· Yunbo Long, WenJie Chen, Jiaquan Zhang, Guangya Hao, Zihang Zeng, Pengze Li, Xi Chen·· 1 天前AI 评分33
SPECTRUM：面向循环自蒸馏的近端谱调制
SPECTRUM: Proximal Spectral Modulation for Looped Self-Distillation
AI 导读
研究者提出 SPECTRUM 方法，通过全秩近端谱调制解决代码生成循环自蒸馏中的解法多样性收缩问题。在 MBPP 的 5 轮实验中，SPECTRUM 保留了初始模型 89.9% 的 64 样本正确 AST 丰富度，高于普通自蒸馏的 66.4%。该多样性优势无需额外训练或校准，即可直接迁移至 HumanEval+ 和 APPS Intro。
来源：arXiv 人工智能 · arxiv.org