arXiv 机器学习· Alexandra Volkova, Matin Ansaripour, Erik Schultheis, Christoph H. Lampert, Dan Alistarh·· 7 小时前AI 评分35
Q-PACE：量化感知训练的动态精度分配方法
Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training
AI 导读
Q-PACE 提出了一种用于大语言模型量化感知训练（QAT）的动态精度分配方法，通过二阶敏感度模型预测量化损失并周期性重配各层精度。在最高 4B 参数的大语言模型预训练与监督微调实验中，该方法优于现有混合精度训练方案，能在更低的总显存预算下取得相当的损失。量化敏感度可由网络深度和层类型预测，支持低频低成本校准。
来源：arXiv 机器学习 · arxiv.org