arXiv 机器学习· Ning Yang, Bohan Cui, Zhuowen Liu, Yuting Wang·· 8 小时前AI 评分34
ResCom：面向大语言模型量化的激活残差补偿
ResCom: Activation Residual Compensation for Large Language Model Quantization
AI 导读
ResCom 提出利用激活舍入残差进行低秩修正，通过闭式解补偿大语言模型量化误差，无需梯度训练。在 4-bit 权重与激活的 Llama-3-8B 上，它使 MMLU 提升 2.89 个百分点，5-shot GSM8K 准确率由 23.96% 升至 36.16%。该方法覆盖 1B 至 70B 模型，4K prefill 时间仅增 2.25%，较 FP16 保持 27.7% 的峰值显存缩减。
来源：arXiv 机器学习 · arxiv.org