arXiv 机器学习· Shradha Agarwal, Tariq J., Deepak Rajbhar·· 5 小时前AI 评分48
定域性不等于可控性：LLM 数学符号错误的机理研究
Localization Does Not Imply Steerability: A Mechanistic Study of Sign Errors in LLM Mathematics
AI 导读
研究表明，6 款 14B 至 675B 参数的开源大语言模型在多步数学中的符号错误，均由网络最后四分之一（70-100%）深度的 MLP 层写入。从残差流干预单一方向可纠正 Llama-3.3-70B 上 14 例分部积分错误中的 13 例，并在 Qwen、Gemma 和 Mistral-Small 上复现。但 Phi-4 因约 15 层的冗余写入导致干预失效，证明回路定域并不代表其具备可控性。
来源：arXiv 机器学习 · arxiv.org