本文へスキップ
ホットトピック継続更新中

研究揭示大模型数学符号错误机理与可控性差异

1 件の報道1 件の報道元10 時間前 更新

まずこの件を把握する

AI 概要

2026年11月6日,arXiv发布关于大语言模型数学符号错误机理的研究。该研究对6款14B至675B参数的开源大模型进行分析,发现多步数学推理中的符号错误均由网络最后四分之一(70-100%深度)的MLP层写入。实验表明,通过在残差流中干预单一方向,能够纠正Llama-3.3-70B上14例分部积分错误中的13例,该效果在Qwen、Gemma和Mistral-Small模型上也得到复现。然而,在Phi-4模型中,由于存在约15层的冗余写入,上述干预手段失效。该结果证明,模型内部机制的回路定域并不代表其具备可控性。

AI が報道をもとに生成 · 10 時間前 更新

報道タイムライン

報道をたどり、出来事のさまざまな側面を知る。

11月6日
  1. arXiv 机器学习
    定域性不等于可控性:LLM 数学符号错误的机理研究

    研究表明,6 款 14B 至 675B 参数的开源大语言模型在多步数学中的符号错误,均由网络最后四分之一(70-100%)深度的 MLP 层写入。从残差流干预单一方向可纠正 Llama-3.3-70B 上 14 例分部积分错误中的 13 例,并在 Qwen、Gemma 和 Mistral-Small 上复现。但 Phi-4 因约 15 层的冗余写入导致干预失效,证明回路定域并不代表其具备可控性。

このストーリーのホット度の推移

現在のホット度 8·比較可能範囲のピーク 10(11月6日 14:00)·直近24時間の比較可能な変化–

02.557.51011月6日14:0011月6日17:0011月6日19:0011月6日22:00

トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。