Hacker News · AI· ilreb·· 14 days agoSelectedAI score79
Google 联合多方发布云原生分布式大模型推理栈 llm-d 1.0
LLM-d 1.0, an open source stack for distributed inference
Not yet translated; shown in Chinese.
AI guide
Google 联合 Red Hat、IBM 等机构在 PyTorch 大会上正式发布云原生分布式大模型推理栈 llm-d 1.0，作为 CNCF 沙箱项目开源。
Why it matters
针对智能体长上下文与多轮爆发式流量，该项目将缓存感知路由与预填充解码分离引入云原生调度，为自建推理集群提供了成熟参考。
Source:Hacker News · AI · cloud.google.com