arXiv 机器学习· Xiaojun Wu, Cehao Yang, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo·· 9 小时前AI 评分38
FARO：基于跨块等风险贡献预算分配的函数空间自适应优化器
FARO: Function-Space Adaptive Return-to-Risk Optimization via Cross-Block Equal-Risk-Contribution Budget Allocation
AI 导读
研究团队提出大语言模型自适应优化器 FARO，引入投资组合理论的等风险贡献原则（ERC）跨块分配更新预算。在 FineWeb 上训练 GPT 架构模型时，FARO-Adaptive 达到 3.2780 nats，追平人工最优配方 NorMuonAndAdam（3.2794 nats）。
来源：arXiv 机器学习 · arxiv.org