研究人员提出LLM混合精度量化框架TileQuant

1. 13:00
   arXiv 机器学习

   TileQuant：以 Tile 作为精度分配单元的 LLM 混合精度训练后量化

   无需训练的 LLM 混合精度量化框架 TileQuant 提出将硬件对齐的 2D 权重 tile 作为精度分配单元。该框架通过离线校准将高评分 tile 保持在 16-bit，其余使用 8-bit，并借助定制内核减少内存数据传输。实验表明，TileQuant 达到了原模型 2.66x 的生成吞吐量，在语言建模、推理与长上下文检索等任务中均有效保持质量。

Current heat 8·Comparable peak 10（Nov 6 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.