本文へスキップ
原文
arXiv 机器学习· Wentao Ni, Chihao Yu, Hong Cai, Mingu Lee, Hejia Zhang, Fatih Porikli, Jishen Zhao·· 13 時間前AI スコア34

RankLane:基于专家容量排序的加速器高效 MoE Prefill

RankLane: Efficient MoE Prefill on Accelerators with Ranked Expert Capacities

未翻訳のため中国語で表示しています。

AI ガイド

RankLane 提出按当前负载对加速器上的专家进行排序并分配至固定容量通道,以解决静态执行计划下的 MoE prefill 效率问题。该方案在四颗 Cloud AI 100 Ultra SoC 上对采用 MXFP6 权重的 Qwen3-30B-A3B 与 Gemma 4 26B-A4B 进行了全模型评测。

出典:arXiv 机器学习 · arxiv.org