arXiv 人工智能· Kai Yi, Tarek Elgamal, Sruthikesh Surineni, Vignesh Vivekraja, Soumyadeep Ghosh, Steven Li·· 6 小时前AI 评分38
CanonQ：迈向 W2A4KV2 极低比特大语言模型量化
Few Bits, One Law: Toward W2A4KV2
AI 导读
研究人员提出统一量化感知训练框架 CanonQ，以解决大语言模型权重、激活和 KV cache 联合极低比特量化（W2A4KV2）的误差耦合难题。在 LLaMA3-1B/3B/8B 上，CanonQ-Omni 在 W2A4KV2 下使 WikiText-2 困惑度降低最高 14.28x，平均 zero-shot 准确率提升最高 57.9%。
来源：arXiv 人工智能 · arxiv.org