Hacker News · AI· ilreb·· 14 日前厳選AI スコア79
Google 联合多方发布云原生分布式大模型推理栈 llm-d 1.0
LLM-d 1.0, an open source stack for distributed inference
未翻訳のため中国語で表示しています。
AI ガイド
Google 联合 Red Hat、IBM 等机构在 PyTorch 大会上正式发布云原生分布式大模型推理栈 llm-d 1.0，作为 CNCF 沙箱项目开源。
推薦理由
针对智能体长上下文与多轮爆发式流量，该项目将缓存感知路由与预填充解码分离引入云原生调度，为自建推理集群提供了成熟参考。
出典：Hacker News · AI · cloud.google.com