跳到正文
原文
AITNT · AI头条(网页)·· 6 小时前AI 评分42

是石科技发布 TokenFleet 分布式调度框架,首 Token 延迟最高降低 71.3%

首Token延迟降低32.4%!是石科技放出集群调度大招,国产推理再提效

AI 导读

是石科技在 2026 CCF 全国高性能计算学术大会上发布了 TokenFleet 分布式调度框架,聚焦请求路由、跨机房容量协同与混合负载治理。框架包含 TokenPilot、FleetMind 和 SLOMax 三项核心技术;在 GLM5.3 测算中,P95 和 P50 首 Token 延迟分别降低 32.4% 与 71.3%,达标输出吞吐提高约 29.4%。

来源:AITNT · AI头条(网页) · aitntnews.com