Hacker News · AI· ahamez·· 23 日前厳選AI スコア68
ZML 推出通用大语言模型推理服务器 LLMD
The Universal LLM Server
未翻訳のため中国語で表示しています。
AI ガイド
ZML 推出通用大语言模型推理服务器 LLMD，支持在 NVIDIA CUDA、AMD ROCm、Google TPU、Intel oneAPI 与 Apple Metal 等多款硬件上运行 LLaMa、Gemma、Qwen 和 Mistral 模型。
推薦理由
原文给出了覆盖五类算力芯片的轻量化推理方案与配置命令，读者可据此评估异构算力环境下的统一服务落地成本。
出典：Hacker News · AI · zml.ai