本文へスキップ
原文
Hacker News · AI· samber·· 11 日前厳選AI スコア69

开源分布式推理框架 llm-d 发布 v1.0.0 版本

LLM-d v1.0.0 is out

未翻訳のため中国語で表示しています。

AI ガイド

开源大模型分布式推理服务平台 llm-d 正式发布 v1.0.0 版本,统一了各核心组件版本并将路由配置 API 升级至稳定版。新版本引入 DisaggregatedSet 将 Prefill 与 Decode 副本作为单一逻辑单元统一管理,支持零停机滚动更新与高可用路由,并针对智能体工作流新增了会话亲和与轮次优先级调度以复用上下文缓存。

推薦理由

该版本统一了全组件版本并规范了分离式推理架构,为在大规模生产环境中落地零停机模型服务提供了标准化参考。

出典:Hacker News · AI · github.com