arXiv 自然语言处理· Huan Li, Zhe Cao, Qinlei Xie, Fushun Cui, Xuechen Liang·· 4 小时前AI 评分33
利用条件锚定蒸馏稳定持续学习中的语言模型
Stabilizing language models under continual learning via condition-anchored distillation
AI 导读
研究提出条件锚定生成蒸馏（CAGD），通过保留少量旧提示词并利用冻结的前序模型重构预测分布，以稳定语言模型在持续学习中的输出。在 219M 掩码扩散模型上，CAGD 将四任务留出损失分别降至 1.114 和 0.891（原为 2.927 与 2.168），平均损失优于硬重放 0.055，并在 SMDM 和 Qwen3（含 0.6B 与 1.7B）上也验证了功能保留能力。
来源：arXiv 自然语言处理 · arxiv.org