塑造 LatentMoE：从专家几何结构到逐层容量分配

研究人员提出了基于 LatentMoE 的专家几何形态优化与逐层容量分配方案。研究表明专家局部雅可比秩受输入维度与中间宽度共同约束，在固定单专家参数量时接近正方形的专家形态表现最佳。结合逐层内在维度指导深度容量分配，在保持每层参数量、激活 FLOPs 与通信量不变的前提下，显著降低了验证损失并提升了下游性能。