本文へスキップ
ホットトピック継続更新中

研究揭示免训练MoE专家剪枝中门控重新归一化致性能损失

1 件の報道1 件の報道元8 時間前 更新

まずこの件を把握する

AI 概要

2026年11月2日,arXiv机器学习领域发布关于免训练MoE专家剪枝中的替换算子与路由语义的新研究。该项研究通过在OLMoE以及DeepSeek-V2-Lite等模型上固定剪枝掩码展开测试与分析。结果发现,在免训练MoE专家剪枝过程中,门控重新归一化会导致0.8至8.5点的性能损失。该研究揭示了免训练专家剪枝过程中门控机制对模型表现的具体影响。

AI が報道をもとに生成 · 7 時間前 更新

報道タイムライン

報道をたどり、出来事のさまざまな側面を知る。

11月2日
  1. arXiv 机器学习
    免训练 MoE 专家剪枝中的替换算子与路由语义研究

    研究通过在 OLMoE 与 DeepSeek-V2-Lite 等模型上固定剪枝掩码,发现免训练 MoE 专家剪枝中门控重新归一化会导致 0.8-8.5 点性能损失。

このストーリーのホット度の推移

現在のホット度 8·比較可能範囲のピーク 10(11月2日 14:00)·直近24時間の比較可能な変化–

02.557.51011月2日14:0011月2日16:0011月2日18:0011月2日20:00

トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。