arXiv 自然语言处理· Qince Luan, Jianhui Xu, Yang Xu·· 8 小时前AI 评分34
谱平滑与尖峰扰动重塑大语言模型的能力特征与特定任务表现
Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models
AI 导读
研究人员提出针对大语言模型中 up_proj 和 down_proj 矩阵的事后谱平滑与尖峰扰动干预，在保持奇异向量和几何平均值不变的情况下改变奇异值分布。在 5 款开源 Llama 与千问（Qwen）指令模型上的评测显示，扰动会引发结构化响应：较大正向扰动会抑制语言和演绎推理表现，适度负向扰动则有时能提升事实性或局部任务表现。该研究为探究大语言模型内部能力的组织与权衡提供了一种轻量级探测手段。
来源：arXiv 自然语言处理 · arxiv.org