跳到正文
原文
arXiv 机器学习· Sri Pranav Kunda, Alexander Kurz, Tomas Dominik, Uri Maoz·· 4 小时前AI 评分38

First-Order Steering:将权重自适应转化为激活引导

First-Order Steering: Translating Weight Adaptation into Activation Steering

AI 导读

研究人员提出 First-Order Steering 方法,将激活引导形式化为权重更新矩阵的一阶近似,实现将权重自适应转化为可组合的激活引导向量,增强推理阶段的模型行为控制。同时团队提出新型模型合并流程 HeRD-Merging,通过最小化一阶近似误差提升引导精度。该方法控制单一与组合行为的准确度均优于现有激活引导方法。

来源:arXiv 机器学习 · arxiv.org