研究提出谱扰动干预方法以探测大模型能力与任务表现

1. 12:00
   arXiv 自然语言处理

   谱平滑与尖峰扰动重塑大语言模型的能力特征与特定任务表现

   研究人员提出针对大语言模型中 up_proj 和 down_proj 矩阵的事后谱平滑与尖峰扰动干预，在保持奇异向量和几何平均值不变的情况下改变奇异值分布。在 5 款开源 Llama 与千问（Qwen）指令模型上的评测显示，扰动会引发结构化响应：较大正向扰动会抑制语言和演绎推理表现，适度负向扰动则有时能提升事实性或局部任务表现。该研究为探究大语言模型内部能力的组织与权衡提供了一种轻量级探测手段。

当前热度 8·可比范围峰值 10（10月23日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。