面向量化矩阵乘法的乘积感知确定性舍入方法
该研究针对量化矩阵乘法中各标量舍入决策相互影响的问题，提出了乘积感知的确定性舍入算法。在缩放因子、截断边界和量化网格固定的前提下，针对动态激活量化，研究团队通过零空间缩减技术保持松弛乘积，将未决的分数决策控制在秩 r 以内，并结合条件期望补全构建了多项式时间算法，为降低矩阵量化误差提供了理论保证。
推荐理由针对模型量化核心操作（矩阵乘法）提出了具理论误差界的确定性舍入优化算法，对低比特推理与模型压缩有参考价值。
原标题：Product-Aware Deterministic Rounding for Quantized Matrix Multiplication
阅读 arXiv 机器学习 原文 ↗