跳到正文
原文
arXiv 人工智能· Shengjie Wang, Mohsen Fayyaz, Nanyun Peng·· 5 小时前AI 评分45

MoE 模型的推理路径:解读与重塑测试时计算

Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models

AI 导读

研究提出利用 MoE 路由分数作为无需训练的控制接口,在推理阶段通过编辑路由以抑制推理模型的过度思考。在 4 个模型与 4 个基准测试中,该方法将生成 token 数量中位数降低 30.4%(最高达 63.3%),促使模型解题后及时停止推理。同时准确率降幅从未超过 0.5 个百分点且常有提升,仅用约一半特征即可有效识别 6 种推理行为。

来源:arXiv 人工智能 · arxiv.org