Hacker News · AI· samber·· 2 小时前精选AI 评分69
分布式推理调度框架 llm-d v1.0.0 发布
LLM-d v1.0.0 is out
AI 导读
开源分布式大模型推理调度框架 llm-d 正式发布 v1.0.0 版本,全面统一核心组件版本并推进生产级稳定性。新版本引入 DisaggregatedSet 将 Prefill 和 Decode 副本作为单一逻辑单元进行协调滚动升级,并支持具备优先级与公平性控制的多租户流控。
推荐理由
该版本将解耦推理副本编排与多租户流控标准化,为大模型推理集群在生产环境落地提供了统一的高可用管理方案。
来源:Hacker News · AI · github.com