AWS 机器学习· Shantanu Tripathi·· 8 時間前厳選AI スコア72
Amazon SageMaker InferenceがNVIDIA MIGによるハードウェアレベルのGPUパーティショニングに対応
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI ガイド
Amazon SageMaker Inferenceは、NVIDIA MIGに基づくハードウェアレベルのGPUパーティショニングへの対応を発表した。これにより、マネージドエンドポイント上で1基の物理GPUを最大7つの独立したパーティションに分割し、それぞれ異なるモデルをデプロイできるようになる。
推薦理由
マネージド型のハードウェアパーティショニングにより、開発者は自前でクラスタを保守・運用することなく、1基のGPU上で複数モデルを分離した状態で混載デプロイできるようになり、計算リソースコストをきめ細かく制御するための実践的な選択肢がもたらされた。
出典：AWS 机器学习 · aws.amazon.com