跳到正文
原文
Hugging Face·· 13 小时前精选AI 评分77

PyTorch 2.15 升级 Mac MPS 后端:支持 FP8 并大幅优化 MoE 解码与视频生成

MPS in PyTorch 2.15

AI 导读

PyTorch 2.15 对苹果芯片的 MPS 后端进行重构,新增 FP8 数据类型支持,并通过专用 Metal 算子替代 MPSGraph 大幅优化大语言模型解码与多模态负载。

推荐理由

原文详细展示了通过专用 Metal 算子替代图编译器来解决苹果芯片显存暴涨与算力瓶颈的具体路径,可供端侧优化参考。

来源:Hugging Face · huggingface.co