arXiv 自然语言处理· Shivam Adarsh, Hetianyu Huang, Lau Safin, Maria Maistro, Christina Lioma·· 5 小时前AI 评分36
识别并干预 LLM 激活转向引起的语篇级变化
When Steering Shifts Discourse: Identifying and Intervening on Discourse-Level Changes due to Activation Steering in LLMs
AI 导读
研究发现通过向残差流添加向量的 LLM 激活转向技术，会系统性改变生成文本在正式程度、论据使用及歧义性等语篇维度的特征。为此研究提出添加第二个互补向量针对性干预受影响的语篇维度；该方法恢复了约 78% 的非预期语篇改变，并在约 93% 的生成中成功保留了预期的转向行为。
来源：arXiv 自然语言处理 · arxiv.org