面向生物学基础模型的高效 MoE 训练

针对生物学基础模型扩展的高计算成本问题，MoE 架构通过引入多个专家子网络并对每个 token 仅激活其中一小部分，提供了更高效的扩展路径。相比每个 token 均需经过所有层的传统稠密 Transformer 架构，该方法有效缓解了模型能力提升带来的训练与推理算力开销激增问题。