大模型 AI 腔的成因解析与内部表征抑制方法

研究发现大模型中常见的 AI 腔风格在内部表征中沿单一方向分布，该风格由预训练习得并在后训练对齐阶段被显著放大。在 OLMo 2 测试中，人类偏好数据有 57% 的情况偏向套话更多的回答，使 AI 腔得分翻倍。直接将该方向归零会导致 AI 腔增加 89%，而通过反向激活引导或训练参数量不足 1% 的适配器，可在不依赖提示词的情况下将 AI 腔减少 83% 并维持原有事实准确率。