arXiv 自然语言处理· Junrong Tang, Jianghui Wang, Hao Kong, Yang Lin, Yibo Yang·· 7 hours agoAI score40
HyperRepair：恢复微调语言模型遗忘的通用能力
HyperRepair: Recovering Forgotten General Capabilities of Fine-Tuned Language Models
Not yet translated; shown in Chinese.
AI guide
HyperRepair 框架可在仅需推理成本的前提下，恢复微调语言模型遗忘的通用能力并保留领域专长。该方法利用超网络生成定制修复侧网（RSN），无需目标领域样本或额外优化即可泛化至未见领域。在 2 个模型族、12 个 LoRA 适配数据集和 15 个通用 benchmark 评测中，它实现了基座模型 93.4% 的平均通用得分，并保留微调模型 99.5% 的领域得分。
Source:arXiv 自然语言处理 · arxiv.org