Amazon SageMaker AI 上的混合专家模型（MoE）算子工程优化

Amazon SageMaker AI 针对 Hopper 架构的融合 MoE 算子进行了工程优化。通过在解码阶段引入 Swap-AB 翻转矩阵乘法，满足 WGMMA 对 M 维度的硬性要求并激活异步预取，使 H200 上的大尺度 MoE 模型端到端输出吞吐量提升 2–4%，该改动已合并至 vLLM 0.24.0 及以上版本。