arXiv 人工智能· Xianglong Yan, Zenan Wu, Kewei Zhang, Kaicheng Yang, Yulun Zhang·· 13 小时前AI 评分44
SAGE：推动 2-Bit 矢量量化大语言模型走向实际应用
SAGE: Pushing 2-Bit Vector-Quantized LLMs toward Real-World Usability
AI 导读
研究人员提出针对仅权重矢量量化的大语言模型量化方法 SAGE，通过能量分层分组（ESG）和自适应比特划分（ABS）解决敏感通道保护与比特分配问题。在 2-bit 量化设置下，SAGE 在多项基准测试中取得 SOTA 性能，在 Qwen3-30B-A3B 上保留了 BF16 模型 95.3% 的平均基准得分。
来源：arXiv 人工智能 · arxiv.org