AWS 机器学习· Shantanu Tripathi·· 8 小时前精选AI 评分72
Amazon SageMaker Inference 支持 NVIDIA MIG 硬件级 GPU 分区
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 宣布支持基于 NVIDIA MIG 的 GPU 硬件级分区，允许用户在托管端点上将单张物理 GPU 划分为最多 7 个独立分区并部署不同模型。
推荐理由
通过托管式硬件分区，开发者无需自行维护集群即可实现多模型单卡隔离混部，为精细化控制算力成本提供了实际路径。
来源：AWS 机器学习 · aws.amazon.com