arXiv 人工智能· Man Liu, Xingchen Liu, Hairui Zhao, Guangming Tan, Dingwen Tao·· 10 hours agoAI score34
FP4Quant：面向模型并行 LLM 训练的高效 4-Bit 通信压缩框架
FP4Quant: Efficient 4-Bit Communication Compression for Model-Parallel LLM Training
Not yet translated; shown in Chinese.
AI guide
FP4Quant 是一款面向模型并行 LLM 训练的微分组 FP4 通信压缩框架，旨在缓解分布式训练中的通信瓶颈。该框架集成了微分组双尺度 FP4 量化、warp 协作打包方案以及针对 GPU 优化的混合两级 FWHT 流水线。在 NVIDIA H100 GPU 上针对 Qwen-7B 的实验显示，其端到端吞吐量相比 BF16 最高提升 1.56x。
Source:arXiv 人工智能 · arxiv.org