跳到正文
热点事件持续更新

研究团队提出AbridgeKV推理KV Cache压缩方法

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月16日,相关研究团队在arXiv公布了KV Cache压缩方法AbridgeKV。该方法通过训练模型将已生成的文本块压缩至少量可学习暂停(pause)token的KV cache中,以此释放原始缓存,有效降低长链式推理时的显存占用。在针对AIME、HMMT等446道竞赛题开展的32K token生成测试中,AbridgeKV仅保留四分之一的生成缓存,便在准确率与输出长度上取得了与全量KV模型相当的表现。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. arXiv 自然语言处理
    AbridgeKV:将长推理压缩至可学习暂停 token 的 KV cache

    AbridgeKV 通过训练模型将已生成的文本块压缩至少量可学习 pause token 的 KV cache 中,以释放原始缓存并降低长链式推理的显存占用。在 AIME、HMMT 等 446 道竞赛题的 32K token 生成测试中,仅保留四分之一生成缓存即可在准确率与输出长度上匹敌全量 KV 模型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。