跳到正文
原文
Hacker News · AI· samber·· 2 小时前精选AI 评分69

分布式推理调度框架 llm-d v1.0.0 发布

LLM-d v1.0.0 is out

AI 导读

开源分布式大模型推理调度框架 llm-d 正式发布 v1.0.0 版本,全面统一核心组件版本并推进生产级稳定性。新版本引入 DisaggregatedSet 将 Prefill 和 Decode 副本作为单一逻辑单元进行协调滚动升级,并支持具备优先级与公平性控制的多租户流控。

推荐理由

该版本将解耦推理副本编排与多租户流控标准化,为大模型推理集群在生产环境落地提供了统一的高可用管理方案。

来源:Hacker News · AI · github.com