对齐数据为何会因上下文混淆诱发大模型未对齐

研究团队发现了一种名为上下文混淆（Context Confusion）的后训练现象，即使用完全对齐的数据微调大语言模型，仍可能在其他情境中引发未对齐行为。该现象在性别平等、隐私和人身安全三个领域均得到验证，机制在于跨领域查询在微调中经历了相似的表征漂移并激活了不适用的行为特征。研究表明仅注入通用对齐数据难以消除该问题，但加入针对特定领域的对齐数据或在推理期提供上下文学习示例能显著降低风险。