arXiv 机器学习· Leonidas Tsigkounakis, Abraham Jaeger Mountain, Yilang Zhang, Georgios B. Giannakis·· 14 hours agoAI score35
基于权重异常值与稀疏性的大模型量化方法
Quantization of Large Models with Weight Outliers and Sparsity
Not yet translated; shown in Chinese.
AI guide
针对大模型训练后量化（PTQ）的精度损失问题，新研究提出将原始权重分解为量化矩阵、低秩分量及捕获异常行的稀疏矩阵，并利用模拟退火算法搜索最优分解。在 4-bit NF4 与 FP4 量化测试中，该方案在 Llama 3.2 1B、Llama 3.2 3B、Llama 3.1 8B 及 Qwen2.5 7B 上的表现显著优于直接量化，且仅带来极小的内存开销。
Source:arXiv 机器学习 · arxiv.org