跳到正文
热点事件持续更新

研究团队提出大模型条件记忆量化方法GateRQ

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月28日,研究团队在arXiv发布成果,提出条件记忆量化方法GateRQ。该方法通过门控权重动态决定查询精度,以解决大语言模型条件记忆层在量化过程中容易丢失长尾事实的问题。在无需重新训练的情况下,该方案将DeepSeek-V4.1-Flash的GPU查表显存压缩了7.8倍,并将vLLM的吞吐量较FP8基线提升了11%至31%。测试显示,在单次查询平均仅读取1.50 bits和2.10 bits的条件下,其PopQA评测得分仅分别下降约1分和0.2分。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv 机器学习
    GateRQ:让门控决定大语言模型量化条件记忆的单次查询精度

    GateRQ 提出利用门控权重动态决定查询精度,以解决大语言模型条件记忆层量化时的长尾事实丢失问题。无需重训练,该方案将 DeepSeek-V4.1-Flash 的 GPU 查表显存压缩 7.8x,使 vLLM 吞吐量较 FP8 提升 11%-31%。在单次查询平均仅读取 1.50 bits 和 2.10 bits 时,PopQA 评测得分仅分别下降约 1 分和 0.2 分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。