arXiv 机器学习· Sri Pranav Kunda, Alexander Kurz, Tomas Dominik, Uri Maoz·· 4 小时前AI 评分38
First-Order Steering:将权重自适应转化为激活引导
First-Order Steering: Translating Weight Adaptation into Activation Steering
AI 导读
研究人员提出 First-Order Steering 方法,将激活引导形式化为权重更新矩阵的一阶近似,实现将权重自适应转化为可组合的激活引导向量,增强推理阶段的模型行为控制。同时团队提出新型模型合并流程 HeRD-Merging,通过最小化一阶近似误差提升引导精度。该方法控制单一与组合行为的准确度均优于现有激活引导方法。
来源:arXiv 机器学习 · arxiv.org