WAQS：面向二次探测与仿射转向的权重吸收框架

研究人员提出 WAQS 框架，通过二次探测梯度产生依赖激活状态的仿射转向方向，实现无额外推理开销的输入自适应大语言模型行为控制。该仿射干预可通过离线权重更新完全吸收到相邻线性层中，并支持低秩参数化以适配高维表征。在真实性、拒绝和阿谀奉承转向任务中，二次转向在维持模型实用性的同时，效果达到或优于恒定线性转向。