研究者提出结合异常值与稀疏性的大模型PTQ量化新方法
Start here
针对大模型训练后量化（PTQ）过程中出现的精度损失问题，最新研究提出了一种基于权重异常值与稀疏性的量化方案。该方案将原始权重分解为量化矩阵、低秩分量以及用于捕获异常行的稀疏矩阵，并采用模拟退火算法搜索最优权重分解。在 4-bit NF4 与 FP4 量化测试中，该方案在 Llama 3.2 1B、Llama 3.2 3B、Llama 3.1 8B 及 Qwen2.5 7B 等多个模型上的表现显著优于直接量化，且仅带来极小的额外内存开销。
AI-generated from reports · Updated 1 day ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 机器学习基于权重异常值与稀疏性的大模型量化方法
针对大模型训练后量化（PTQ）的精度损失问题，新研究提出将原始权重分解为量化矩阵、低秩分量及捕获异常行的稀疏矩阵，并利用模拟退火算法搜索最优分解。在 4-bit NF4 与 FP4 量化测试中，该方案在 Llama 3.2 1B、Llama 3.2 3B、Llama 3.1 8B 及 Qwen2.5 7B 上的表现显著优于直接量化，且仅带来极小的内存开销。
Story heat trend
Current heat 4·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours-51%
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.