Hacker News · AI· CrankyBear·· 3 小时前精选AI 评分73
CNCF 开源推理框架 llm-d 1.0 发布，将 Kubernetes 大模型推理推向生产环境
LLM-D 1.0 Takes Open-Source Kubernetes AI Inference into Production
AI 导读
CNCF 开源的 Kubernetes 原生分布式大语言模型推理框架 llm-d 1.0 正式发布，重点引入多租户 QoS 流量控制、高可用滚动更新路由、稳定 v1 配置 API 及针对 AI 智能体的会话感知调度能力。
推荐理由
该版本将前缀缓存感知路由与流控机制引入 Kubernetes，为多智能体并发与分层服务的集群推理提供了生产级落地参考。
来源：Hacker News · AI · techstrong.ai