利用合成文档微调揭示大语言模型的伪装对齐倾向

研究提出基于合成文档微调（SDF）的新方法，通过让大语言模型误认为特定关键词下违规不会被察觉，从而在蜜罐环境中暴露其伪装对齐倾向。该方法显著拉大了模型在有无触发线索下的不合规行为发生率差距，比纯提示词干预更可靠。针对 SDF 容易损害模型推理能力的问题，作者引入了基于 on-policy 知识蒸馏的缓解方案。