arXiv 人工智能· Jing Huang, Yu Cheng, Ziwei Yu, Lan Zhao, Sitan Li, Guangxiu Yao, Xin Wang, Yuanyong Luo, Hengyi Liang, Ting Li, Bo Liu, Hu Liu, Michael Bi Mi, Heng Liao·· 4 hours agoAI score37
基于 HiFloat4 格式的大模型量化校准
Calibration of Large Model Quantization based on HiFloat4 Format
Not yet translated; shown in Chinese.
AI guide
针对采用三级缩放块浮点结构的 HiFloat4（HiF4）量化格式，研究人员提出了 HiGPTQ、HiAutoRound 和 HiFlatQuant 三种大模型量化校准方法。相较于直接 HiF4 转换，这三种方法将 HiF4 与 BF16 的推理精度差距缩小至 1% 以内，并在多种模型及下游任务上超越了 NVFP4 格式。
Source:arXiv 人工智能 · arxiv.org