NVIDIA Attributionを活用した分散AIワークロードの障害診断

NVIDIAは、ツール「NVIDIA Attribution」を用いて分散AIタスクにおける連鎖障害を診断し、根本原因を特定する方法を紹介した。分散ワークロードでは、単一のGPUやネットワークファブリックの異常が複数RankにわたるNCCLエラーへと波及し、大量のダウンストリーム情報が生成されやすい。通常のエラー情報では停止箇所しか把握できず、発生源を特定できないことが多い。本コンテンツでは実例を交え、ワークロードのエビデンスに基づいて診断を実行し、最初の障害発生箇所の特定とトラブルシューティングを支援する手順を解説している。