arXiv 自然语言处理· Daniil Gurgurov, Akansh Maurya, Josef van Genabith, Simon Ostermann, Hitomi Yanaka·· 5 小时前AI 评分35
利用上下文门控实现跨语言与多行为的组合激活导引
Compositional Activation Steering Across Languages and Behaviors with Contextual Gates
AI 导读
研究人员提出上下文导引方法,通过联合训练门控机制,根据当前隐藏状态和干预交互动态调整固定导引方向的强度。该方法在多种语言、行为属性和模型上均优于恒定强度导引以及包括提示词在内的四种基准。它能更好地保留通用知识,使模型的内部计算更接近提示模型的表现,有效解决了多语言和免训练向量下的多行为同时控制难题。
来源:arXiv 自然语言处理 · arxiv.org