商汤大装置落地异构推理万卡集群

2026年10月，商汤大装置在第十届CSDI峰会上分享了大规模异构推理实践，通过PD分离与混合调度提升Token产出效能。该方案已在临港AIDC落地万卡级集群，由适配的国产算力承担Prefill阶段任务，高阶GPU负责Decode阶段任务；在测试配置下，相同高端卡数量的Token吞吐量可提升至5倍。目前，商汤大装置的日均Token服务量已达6万亿，未来计划进一步探索跨域PD分离与AF分离技术。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。