arXiv 机器学习· Xiaojun Wu, Cehao Yang, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo·· 22 時間前AI スコア38
FARO：基于跨块等风险贡献预算分配的函数空间自适应优化器
FARO: Function-Space Adaptive Return-to-Risk Optimization via Cross-Block Equal-Risk-Contribution Budget Allocation
未翻訳のため中国語で表示しています。
AI ガイド
研究团队提出大语言模型自适应优化器 FARO，引入投资组合理论的等风险贡献原则（ERC）跨块分配更新预算。在 FineWeb 上训练 GPT 架构模型时，FARO-Adaptive 达到 3.2780 nats，追平人工最优配方 NorMuonAndAdam（3.2794 nats）。
出典：arXiv 机器学习 · arxiv.org