热点事件持续更新
研究提出结构化子空间随机舍入方法S3R与S3R-EC
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月28日，arXiv发表关于基于结构化子空间随机性量化训练的研究，提出结构化子空间随机舍入（S3R）及其误差校正版本S3R-EC。该技术通过按token共享阈值并消除结构化舍入误差，解决了低精度量化训练受制于向量单元吞吐的瓶颈。在大语言模型预训练测试中，S3R-EC消除了收敛退化，并匹配了独立随机舍入的验证损失。在TPU v5p平台上进行稠密LLM的全INT8训练步长测试时，S3R-EC较BF16提速1.24倍至1.32倍，较独立随机舍入提速1.11倍。
AI 根据报道生成 · 3 小时前更新
最新进展10月28日 12:00
研究提出S3R及S3R-EC量化训练方法，全INT8训练步长较BF16最高提速1.32倍。报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv 机器学习基于结构化子空间随机性的高效随机舍入量化训练
结构化子空间随机舍入（S3R）及其误差校正版本 S3R-EC 通过按 token 共享阈值并消除结构化舍入误差，解决了低精度量化训练受制于向量单元吞吐的瓶颈。在 LLM 预训练中，S3R-EC 消除了收敛退化并匹配独立随机舍入的验证损失。在 TPU v5p 上进行稠密 LLM 的全 INT8 训练步长时，S3R-EC 较 BF16 提速 1.24x 至 1.32x，较独立随机舍入提速 1.11x。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。