Hacker News · AI· ilreb·· 7 小时前精选AI 评分79
Google 联合多方发布云原生分布式大模型推理栈 llm-d 1.0
LLM-d 1.0, an open source stack for distributed inference
AI 导读
Google 联合 Red Hat、IBM 等机构在 PyTorch 大会上正式发布云原生分布式大模型推理栈 llm-d 1.0，作为 CNCF 沙箱项目开源。
推荐理由
针对智能体长上下文与多轮爆发式流量，该项目将缓存感知路由与预填充解码分离引入云原生调度，为自建推理集群提供了成熟参考。
来源：Hacker News · AI · cloud.google.com