清华大学等研发八卦炉2分布式训练系统，解决万卡MoE显存尖峰难题

清华大学翟季冬团队等联合研发八卦炉2分布式训练系统，提出运行时自适应激活显存供给机制，解决了万亿MoE模型在大规模集群训练中的显存尖峰与OOM问题。系统在门控算完与专家计算启动间的窗口实时估算负载，按算子动态组合保存、重计算与卸载，并通过双批次融合调度掩盖额外开销。