ホットトピック継続更新中
研究揭示无关上下文致大模型性能下降机制
1 件の報道1 件の報道元4 時間前 更新
まずこの件を把握する
AI 概要
2026年11月6日，发表于arXiv的研究指出，语言模型在输入包含无关上下文时性能下降，源于模型内部的“入侵路径”（Intrusion Pathway）。该研究将这一干扰定位至一组稀疏的“入侵头”（intrusion heads）。实验显示，通过 oracle probe 替换受损末尾 token 残差，在 4 个下游任务中平均恢复了 97.6% 的干扰损失；同时，仅掩码剔除约 10 个入侵头（约占全部注意力头的 1%），就能以受限代价恢复 57% 的性能。
AI が報道をもとに生成 · 4 時間前 更新
最新の進展11月6日 13:00
研究发现无关上下文干扰源于入侵路径，剔除约1%的入侵头可恢复57%性能。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月6日
- arXiv 人工智能入侵路径：非证据上下文如何降低语言模型性能
语言模型在包含无关上下文时性能下降源于“入侵路径”（Intrusion Pathway），该干扰被定位至一组稀疏的入侵头（intrusion heads）。通过 oracle probe 替换受损末尾 token 残差，在 4 个下游任务中平均恢复了 97.6% 的干扰损失。掩码剔除约 10 个入侵头（约占注意力头的 1%），能以受限代价恢复 57% 的性能。
このストーリーのホット度の推移
現在のホット度 9·比較可能範囲のピーク 10（11月6日 14:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。