arXiv 机器学习· Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng·· 11 小时前AI 评分38
TileQuant：以 Tile 作为精度分配单元的 LLM 混合精度训练后量化
TileQuant: Tile as the Precision-Allocation Unit for LLM Mixed-Precision Post-Training Quantization
AI 导读
无需训练的 LLM 混合精度量化框架 TileQuant 提出将硬件对齐的 2D 权重 tile 作为精度分配单元。该框架通过离线校准将高评分 tile 保持在 16-bit，其余使用 8-bit，并借助定制内核减少内存数据传输。实验表明，TileQuant 达到了原模型 2.66x 的生成吞吐量，在语言建模、推理与长上下文检索等任务中均有效保持质量。
来源：arXiv 机器学习 · arxiv.org