跳到正文
原文
Hacker News · AI· iLuddite·· 3 小时前精选AI 评分80

开源分布式推理框架 llm-d 正式发布 v1.0 版本

llm-d v1.0: State-of-the-art inference

AI 导读

开源分布式推理框架 llm-d 正式发布 v1.0 版本,将跨云与跨加速器的分布式推理控制面推向生产级稳定阶段。该版本毕业了稳定的 v1 配置 API,引入多租户服务质量流控、路由器高可用热备以及 DisaggregatedSet 协同滚动升级,并原生提供会话感知路由与轮次优先级调度以支持长上下文智能体工作流。

推荐理由

原文详述了分布式推理控制面进入稳定运营阶段的技术细节,读者可据此评估多硬件与跨云推理架构落地方法。

来源:Hacker News · AI · llm-d.ai