arXiv 机器学习· Guanhua Ding, Zi Wang, Ruichao Li, Jack Liu·· 7 小时前AI 评分36
CurveTQ：基于曲率加权搜索的 LLM 权重无旋转网格量化
CurveTQ: Rotation-Free Trellis Quantization of LLM Weights via Curvature-Weighted Search
AI 导读
CurveTQ 提出一种无旋转的 LLM 权重网格量化方法，将 Hessian 权重引入 Viterbi 分支度量实现曲率加权搜索。在 2-bit 量化下，CurveTQ 在 3 款 4-8B Instruct 模型上的平均下游准确率比 QTIP 和 Proteus 高 1-3 点，并在 35B MoE 模型上取得领先。因无需在解码时撤销旋转，其解码器在所有测试批大小和位宽下速度最快。
来源：arXiv 机器学习 · arxiv.org