Hacker News · AI· ahamez·· 2 小时前精选AI 评分68
ZML 推出通用大语言模型推理服务器 LLMD
The Universal LLM Server
AI 导读
ZML 推出通用大语言模型推理服务器 LLMD，支持在 NVIDIA CUDA、AMD ROCm、Google TPU、Intel oneAPI 与 Apple Metal 等多款硬件上运行 LLaMa、Gemma、Qwen 和 Mistral 模型。
推荐理由
原文给出了覆盖五类算力芯片的轻量化推理方案与配置命令，读者可据此评估异构算力环境下的统一服务落地成本。
来源：Hacker News · AI · zml.ai