arXiv 机器学习· Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng·· 5 小时前AI 评分46
GateRQ：让门控决定大语言模型量化条件记忆的单次查询精度
Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs
AI 导读
GateRQ 提出利用门控权重动态决定查询精度，以解决大语言模型条件记忆层量化时的长尾事实丢失问题。无需重训练，该方案将 DeepSeek-V4.1-Flash 的 GPU 查表显存压缩 7.8x，使 vLLM 吞吐量较 FP8 提升 11%-31%。在单次查询平均仅读取 1.50 bits 和 2.10 bits 时，PopQA 评测得分仅分别下降约 1 分和 0.2 分。
来源：arXiv 机器学习 · arxiv.org