arXiv 机器学习· Hongwei Ren, Jincheng Ren, Yuchuan Zhou, Jingchun Ling·· 11 小时前AI 评分34
GateTrim：面向大语言模型的自适应秩量化方法
GateTrim: Adaptive-Rank Quantization for Large Language Models
AI 导读
GateTrim 是一种面向大语言模型的自适应秩训练后量化方法，通过门控向量优化与阈值筛选自动确定各权重矩阵的保留秩。在 W4A8 设置及 Qwen3 和 Llama 系列 5 款模型上，阈值设为 0.7 时可将平均保留秩降低 46.60%–67.89%，同时使 WikiText-2 困惑度降低 0.59%–5.17%，目标导出体积缩减 1.50%–4.25%。
来源：arXiv 机器学习 · arxiv.org