arXiv 机器学习· Priya Kasimbeg (Alice), Ahmed Khaled (Alice), Aahlad Chandrabhatta (Alice), Yifan Wang (Alice), Andy Liu (Alice), Niccol\`o Ajroldi (Alice), David Tweedle (Alice), Xingyu (Alice), Yang, Isaac Patole, Frank Schneider, George E. Dahl·· 4 小时前AI 评分39
AlgoPerf 最新结果：迈向更易调优的训练算法
Towards Easier-to-Tune Training Algorithms: New Results from AlgoPerf
AI 导读
更新后的 AlgoPerf V1 基准测试在固定硬件上评估了 9 个工作负载的实际达标时间，在要求单一配置的 self-tuning 规则集下，Schedule-Free AdamW 在 PyTorch 和 JAX 的 13 项提交中排名第一。分析指出矩阵预条件与 two-loop 方法样本效率高但运行时间需更强优化，且学习率与动量展现出极高敏感性。
来源：arXiv 机器学习 · arxiv.org