大模型连续微调中的安全性保持：重放策略的析因与几何分析

针对 Mistral-7B 和 Llama-3-8B 连续微调的研究表明，logit 蒸馏相比监督重放能以更小的过度拒绝代价有效防止安全退化。在 Mistral 上，监督重放使 HarmBench 攻击成功率降低 51.1 点但过度拒绝激增 53.4 点，而 logit 蒸馏仅增加 5.1 点过度拒绝，二者结合更可在不影响下游任务的同时缓解过度拒绝。