arXiv 人工智能· Xingyu Xie, Xiaoyong Xie, Zhouchen Lin, Kim-Chuan Toh·· 13 小时前AI 评分43
Echo：面向 LLM 训练与推理的误差补偿 4-Bit 张量并行通信方法
Echo: Error-Compensated 4-Bit Tensor-Parallel Communication for LLM Training and Inference
AI 导读
研究人员提出面向 LLM 训练与推理的 4-bit all-reduce 通信方法 Echo，通过 4-bit 传输与高精度求和控制累积误差，且无需 FP8 或 FP4 硬件支持。
来源：arXiv 人工智能 · arxiv.org