研究揭示大模型数学符号错误机理与可控性差异
Start here
2026年11月6日，arXiv发布关于大语言模型数学符号错误机理的研究。该研究对6款14B至675B参数的开源大模型进行分析，发现多步数学推理中的符号错误均由网络最后四分之一（70-100%深度）的MLP层写入。实验表明，通过在残差流中干预单一方向，能够纠正Llama-3.3-70B上14例分部积分错误中的13例，该效果在Qwen、Gemma和Mistral-Small模型上也得到复现。然而，在Phi-4模型中，由于存在约15层的冗余写入，上述干预手段失效。该结果证明，模型内部机制的回路定域并不代表其具备可控性。
AI-generated from reports · Updated 8 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 机器学习定域性不等于可控性：LLM 数学符号错误的机理研究
研究表明，6 款 14B 至 675B 参数的开源大语言模型在多步数学中的符号错误，均由网络最后四分之一（70-100%）深度的 MLP 层写入。从残差流干预单一方向可纠正 Llama-3.3-70B 上 14 例分部积分错误中的 13 例，并在 Qwen、Gemma 和 Mistral-Small 上复现。但 Phi-4 因约 15 层的冗余写入导致干预失效，证明回路定域并不代表其具备可控性。
Story heat trend
Current heat 8·Comparable peak 10（Nov 6 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.