Hacker News · AI· samber·· 10 days agoSelectedAI score69
开源分布式推理框架 llm-d 发布 v1.0.0 版本
LLM-d v1.0.0 is out
Not yet translated; shown in Chinese.
AI guide
开源大模型分布式推理服务平台 llm-d 正式发布 v1.0.0 版本,统一了各核心组件版本并将路由配置 API 升级至稳定版。新版本引入 DisaggregatedSet 将 Prefill 与 Decode 副本作为单一逻辑单元统一管理,支持零停机滚动更新与高可用路由,并针对智能体工作流新增了会话亲和与轮次优先级调度以复用上下文缓存。
Why it matters
该版本统一了全组件版本并规范了分离式推理架构,为在大规模生产环境中落地零停机模型服务提供了标准化参考。
Source:Hacker News · AI · github.com