Hacker News · AI· ingve·· 3 小时前精选AI 评分77
基于 MLX 与 RDMA 在 Mac Studio 上实现大语言模型本地与分布式推理
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
AI 导读
苹果研究团队展示了利用 MLX 框架与 Thunderbolt 5 的 RDMA 低延迟驱动，在单台及多台 Mac Studio 上运行大语言模型本地与分布式推理的实测方案。
推荐理由
文章通过多台设备实测给出了流水线与张量并行的对比数据，读者可据此评估在桌面硬件集群上部署超大参数模型的工程可行性。
来源：Hacker News · AI · machinelearning.apple.com