arXiv 机器学习· Jonathan Mei, Sang Hyub Kim, Oliver Knitter, Chi Chen, Martin Roetteler·· 5 小时前AI 评分34
ShamAN-Q：基于 Shampoo 增强的亚 1 比特大语言模型权重量化方法
ShamAN-Q: Shampoo Augmented NanoQuant for Sub-1-bit LLM Weights
AI 导读
ShamAN-Q 是一种面向大语言模型权重的亚 1 比特训练后量化方法，通过引入源自 Shampoo 优化器的稠密曲率度量扩展了 NanoQuant。在 Qwen3-Base 测试中，该方法在约 1 bpw 下将 0.6B、1.7B 和 4B 模型的 WikiText-2 困惑度分别降至 22.96、16.72 与 13.80。
来源：arXiv 机器学习 · arxiv.org