热点事件持续更新
研究团队提出UlaCache以优化稀疏大模型KV缓存
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月，研究团队提出名为UlaCache的KV缓存系统，专门面向稀疏大语言模型（LLM）推理服务。该系统构建了跨GPU与CPU内存的统一逻辑寻址，并支持数据并行（DP）与张量并行（TP）。为解决性能瓶颈，UlaCache采用本地GPU缓冲与并行分桶LRU（PB-LRU）策略，以此最小化数据传输及内存替换开销。测试结果显示，在投机解码场景下，UlaCache的峰值解码吞吐在H200硬件上分别实现1.16倍（DP）和1.70倍（TP）的加速，在B300上则分别达到1.73倍（DP）与2.51倍（TP）的加速提升。
AI 根据报道生成 · 1 小时前更新
最新进展11月1日 00:30
研究团队推出UlaCache系统，通过统一逻辑寻址与PB-LRU提升稀疏大模型解码吞吐。报道时间线
沿着报道，了解事件的不同侧面。
11月1日
- Hacker News · AIUlaCache：面向稀疏 LLM 服务的统一逻辑寻址
UlaCache 为稀疏 LLM 推理构建跨 GPU 与 CPU 内存的统一逻辑寻址 KV cache 系统，支持 DP 与 TP 并行。系统通过本地 GPU 缓冲与并行分桶 LRU（PB-LRU）最小化数据传输与内存替换开销。在投机解码下，其峰值解码吞吐在 H200 上达 1.16x（DP）和 1.70x（TP）加速，在 B300 上达 1.73x（DP）与 2.51x（TP）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。