arXiv 自然语言处理· Mehdi Jafari, Hao Xue, Flora Salim·· 1 天前AI 评分35
MetaSteer：基于注意力投影自适应的上下文非线性模型引导
MetaSteer: Context-Conditioned, nonlinear Steering via Attention-Projection Adaptation
AI 导读
研究者提出 MetaSteer，通过作用于注意力投影矩阵学习具备上下文相关效应的非线性干预，无需线性几何假设即可引导大语言模型。该方法基于偏好优化仅需训练一次，即可零样本迁移至未见概念和分布外上下文。在 3 个受控文本生成基准与 3 个 AI 智能体场景评测中，MetaSteer 在多数综合对比中达到或超越了强基线；相关代码与模型权重即将发布。
来源：arXiv 自然语言处理 · arxiv.org