Hacker News · AI· ahamez·· 22 days agoSelectedAI score68
ZML 推出通用大语言模型推理服务器 LLMD
The Universal LLM Server
Not yet translated; shown in Chinese.
AI guide
ZML 推出通用大语言模型推理服务器 LLMD，支持在 NVIDIA CUDA、AMD ROCm、Google TPU、Intel oneAPI 与 Apple Metal 等多款硬件上运行 LLaMa、Gemma、Qwen 和 Mistral 模型。
Why it matters
原文给出了覆盖五类算力芯片的轻量化推理方案与配置命令，读者可据此评估异构算力环境下的统一服务落地成本。
Source:Hacker News · AI · zml.ai