arXiv 机器学习· Ahmed Nebli·· 5 小时前AI 评分34
Phase-HDC：在离散相位学习中用梯度阈值替代优化器历史
Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning
AI 导读
Phase-HDC 采用当前梯度阈值触发参数更新，直接替代优化器历史记录以实现无额外状态训练。在 11 个图像、表格和文本数据集上，其逻辑存储比标准 float32 Adam 减少 16-23 倍，比 8-bit Adam 减少 4-6 倍。该方法精度与 6-bit 动量 Adam 相当且存储少 3 倍，在 6 个数据集上准确率高于 8-bit Adam。
来源：arXiv 机器学习 · arxiv.org