商汤大装置通过PD分离与异构协同提升大规模推理效能

商汤大装置在第十届CSDI峰会上分享了大规模异构推理实践，通过PD分离与混合调度提升Token产出效能。该方案在临港AIDC落地万卡级集群，由适配国产算力承担Prefill任务，高阶GPU负责Decode，测试配置下相同高端卡数量的Token吞吐量可提升至5倍。目前商汤大装置日均Token服务量达6万亿，未来正进一步探索跨域PD分离与AF分离技术。