研究提出基于信息论的SAE激活干预框架
Start here
2026年11月，研究人员提出了一种用于稀疏自编码器（SAE）激活转向的信息论设计框架。该框架利用特征激活分布之间的 Jensen–Shannon 散度（JSD），在大型语言模型（LLM）推理阶段构建转向向量，通过量化模型激活与目标分布的偏差来引导文本生成。在提问模式生成任务的实验中，该框架验证了激活转向的有效性。此外，脉冲实验进一步表明，局部干预会在后续层中引发结构化的 JSD 响应；目前该框架也已被应用于安全相关的特征分析中。
AI-generated from reports · Updated 9 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理基于稀疏自编码器（SAE）激活转向的信息论设计
研究人员提出了用于 SAE 激活转向的信息论框架，利用特征激活分布间的 Jensen–Shannon 散度（JSD）构建 LLM 推理阶段的转向向量。该框架通过量化与目标分布的偏差引导模型生成，并在提问模式生成任务中验证了转向有效性。脉冲实验进一步证明局部干预会在后续层引发结构化 JSD 响应，且该框架已被用于安全相关特征分析。
Story heat trend
Current heat 7·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.