Cerebras 官方博客（网页）·2026-10-14 05:25· 2 小时前精选AI 评分64

Cerebras 发布 MoE 路由调试指南：通过空专家机制修复 top_k=1 梯度阻断问题

Debugging Dead MoE Models: A Step-by-Step GuideJuly 28, 2026

AI 导读

Cerebras 团队发布了一套在 124M GPT-2 规模下训练与调试 MoE 模型的实操指南，指出 top_k=1 时的归一化计算会导致交叉熵梯度降为零，使路由器仅能学习负载均衡而无法学会按 token 匹配专家。

推荐理由

原文指出了 MoE 负载均衡正常但路由梯度归零的隐蔽陷阱，并给出无需增加计算开销的空专家修补方案。