arXiv 自然语言处理· Yujie Chen, Weiyan Zheng, Yiwu Yao, Tianchi Hu, Bo Wang, Jiyu Guo, Wenzhan Li, Jingcai Guo, Michele Magno, Haotong Qin·· 13 小时前AI 评分35
FidelityQ：在超低比特大语言模型量化中保持预测保真度
FidelityQ: Preserving Predictive Fidelity in Ultra-Low-Bit Language Model Quantization
AI 导读
标量量化框架 FidelityQ 可在低至 2 bits 权重精度下保持大语言模型的预测保真度，通过 IAC 编码与 KIC 校准实现免查表解码并恢复预测一致性。在 LLaMA-2-7B 上，FidelityQ 在 W2A16 下取得 6.62 的 WikiText2 困惑度，将 W2A4KV4 困惑度由 8.31 降至 6.96，线性层权重内存相比 FP16 降低 8.0x。
来源：arXiv 自然语言处理 · arxiv.org