开源分布式推理框架 llm-d 发布 1.0 正式版

2026年10月21日，开源分布式推理框架 llm-d 正式发布 v1.0 版本，将其跨云与跨加速器的分布式推理控制面推向生产级稳定阶段。该版本正式毕业了稳定的 v1 配置 API，并引入多租户服务质量流控、路由器高可用热备以及 DisaggregatedSet 协同滚动升级等关键能力。此外，v1.0 版本还原生提供了会话感知路由与轮次优先级调度功能，以增强对长上下文智能体工作流的支持。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。