使用 NVIDIA Megatron Core 扩展位级确定性预训练

NVIDIA 介绍了如何通过 Megatron Core 实现位级确定性预训练，提升大规模模型训练的调试、验证与断点恢复可复现性。该方案主要针对在数千张 GPU 上训练数万亿参数模型的场景，解决多维并行、低精度计算和分布式检查点带来的故障复现与修复验证难题。