arXiv 机器学习· Zihao Chen, Zhili Xiao, Rui-Jie Zhu, Yipeng Wang, Jason Eshraghian, Shantanu Chakrabartty·· 5 小时前AI 评分39
用于二进制与三进制 AI 模型边缘训练的噪声整形采样与退火方法
Noise-shaped Sampling and Annealing for Scalable On-the-edge Training of Binary and Ternary AI Models
AI 导读
研究者提出优化器 ΣΔ-Sampler，将随机采样与退火步骤作为含噪量化器嵌入一阶 ΣΔ 噪声整形环路中，用于二进制和三进制神经网络的离散权重训练。该方法在高达 2.7B 参数的无矩阵乘法（MatMul-free）语言模型及图像任务上验证了性能。相比标准量化感知训练，ΣΔ-Sampler 将训练显存占用减少超 50%，带来数量级加速，并将权重更新内存流量降低 4 个数量级。
来源：arXiv 机器学习 · arxiv.org