arXiv 自然语言处理· Andrea Blasi N\'u\~nez, Gianluca Barmina, Federico Torrielli, Thiusius Rajeeth Savarimuthu, Peter Schneider-Kamp, Lukas Galke Poech·· 7 小时前AI 评分39
利用自然语言自编码器将模型激活差异转化为文本
Verbalizing Activation Differences with Natural Language Autoencoders
AI 导读
研究人员通过自然语言自编码器（NLA）将大语言模型的内部激活差异转化为人类可读文本，并在 3 个模型族的 4 个模型上验证了其泛化能力。实验表明，NLA 无需重新训练即可直接复用于轻量微调模型，并能在模型未生成任何 token 的情况下，通过对比激活差异找回微调目标中的隐藏词。结合强化学习还能进一步提升在未知模型上的隐藏词恢复效果。
来源：arXiv 自然语言处理 · arxiv.org