大语言模型中的自我保护研究

研究人员探讨了大语言模型通过自我回放保护自身既有能力的可行性，并利用不同尺寸的千问（Qwen）模型进行持续指令微调实验。实验表明，冻结模型生成的自我重放数据可显著减少任务库外部能力的遗忘，且组合部分任务库能增强保护效果。在 4B 模型上，结合新任务信息挑选重放目标在保留率上优于随机选择，但会因占用样本预算而略微牺牲新任务的提升幅度。