大语言模型激活值处于特权纠错吸引盆中

研究发现大语言模型的激活值分布于一组离散的吸引盆中，该前向传播约束机制使模型在激活值受扰动时仍能自动纠错并保持连贯输出。语义引导操作本质上是在这些特征专属的吸引盆之间转移激活值。实验表明，通过自适应调节引导强度实现跨盆地传输，相比固定强度引导能显著提高跨语言引导中目标语言 token 的采样概率。