arXiv 人工智能· Shengjie Wang, Mohsen Fayyaz, Nanyun Peng·· 5 時間前AI スコア45
MoE 模型的推理路径:解读与重塑测试时计算
Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models
未翻訳のため中国語で表示しています。
AI ガイド
研究提出利用 MoE 路由分数作为无需训练的控制接口,在推理阶段通过编辑路由以抑制推理模型的过度思考。在 4 个模型与 4 个基准测试中,该方法将生成 token 数量中位数降低 30.4%(最高达 63.3%),促使模型解题后及时停止推理。同时准确率降幅从未超过 0.5 个百分点且常有提升,仅用约一半特征即可有效识别 6 种推理行为。
出典:arXiv 人工智能 · arxiv.org