基于细粒度监控揭示 GPU 集群利用率瓶颈与优化空间

研究人员开发了一款基于 NVIDIA DCGM 的 100ms 细粒度监控工具，并在包含 89 个节点、319 块 GPU 的高校集群上完成了深入评测与开源。针对 10 天内 7,399 个作业的数据分析显示，超 70% 的作业显存占用不足 20%，半数作业的 SM 平均利用率低于 5%，且 80% 的作业存在严重的申请时长与实际运行时长不匹配。