arXiv 机器学习· Zeyu Wang, Yiheng Duan, Tao Chen, Donghyun Koo, Sihan Liu, Wenbo Zhang, Chuan He, Liang Liu·· 5 小时前AI 评分41
基于结构化子空间随机性的高效随机舍入量化训练
Efficient Quantization Training with Stochastic Rounding via Structured Subspace Randomness
AI 导读
结构化子空间随机舍入（S3R）及其误差校正版本 S3R-EC 通过按 token 共享阈值并消除结构化舍入误差，解决了低精度量化训练受制于向量单元吞吐的瓶颈。在 LLM 预训练中，S3R-EC 消除了收敛退化并匹配独立随机舍入的验证损失。在 TPU v5p 上进行稠密 LLM 的全 INT8 训练步长时，S3R-EC 较 BF16 提速 1.24x 至 1.32x，较独立随机舍入提速 1.11x。
来源：arXiv 机器学习 · arxiv.org