NVIDIA：通过自动化工作负载恢复保障分布式训练持续运行

分布式 AI 训练规模扩大使软硬件依赖项故障日益频繁，快速可靠的恢复成为保障训练持续运行的关键。在训练过程中，单个 rank 停顿可能触发 NCCL 超时，GPU 节点可能停止响应调度器，掉队节点也会拖慢整个任务。自动化工作负载恢复旨在应对各类软硬件中断，维持大规模分布式训练的连续性。