跳到正文
原文
IT之家 · AI 筛选·· 5 小时前AI 评分66

英特尔面向四至六代至强处理器推出推理微服务:自动检测硬件并配置 vLLM 参数

AI 导读

英特尔推出 Intel Inference Microservices 容器化大语言模型推理微服务方案,支持在第四代至第六代至强处理器上自动检测硬件并应用预先调优的 vLLM 参数。

来源:IT之家 · AI 筛选 · ithome.com