arXiv 自然语言处理· Hirofumi Morise·· 14 時間前AI スコア35
基于稀疏自编码器（SAE）激活转向的信息论设计
Information-Theoretic Design of Sparse Autoencoder-Based Steering
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出了用于 SAE 激活转向的信息论框架，利用特征激活分布间的 Jensen–Shannon 散度（JSD）构建 LLM 推理阶段的转向向量。该框架通过量化与目标分布的偏差引导模型生成，并在提问模式生成任务中验证了转向有效性。脉冲实验进一步证明局部干预会在后续层引发结构化 JSD 响应，且该框架已被用于安全相关特征分析。
出典：arXiv 自然语言处理 · arxiv.org