UlaCache：面向稀疏 LLM 服务的统一逻辑寻址

UlaCache 为稀疏 LLM 推理构建跨 GPU 与 CPU 内存的统一逻辑寻址 KV cache 系统，支持 DP 与 TP 并行。系统通过本地 GPU 缓冲与并行分桶 LRU（PB-LRU）最小化数据传输与内存替换开销。在投机解码下，其峰值解码吞吐在 H200 上达 1.16x（DP）和 1.70x（TP）加速，在 B300 上达 1.73x（DP）与 2.51x（TP）。