热点事件持续更新
研究团队提出大语言模型自适应优化器FARO
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月2日,arXiv机器学习领域发布论文,研究团队提出了一种用于大语言模型的函数空间自适应优化器FARO。该优化器引入了投资组合理论中的等风险贡献原则(ERC),用于实现跨块分配更新预算。实验结果显示,在FineWeb数据集上训练GPT架构模型时,FARO-Adaptive达到了3.2780 nats,追平了人工最优配方NorMuonAndAdam取得的3.2794 nats水平。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
研究团队提出自适应优化器FARO,在GPT模型训练中追平人工最优配方。报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv 机器学习FARO:基于跨块等风险贡献预算分配的函数空间自适应优化器
研究团队提出大语言模型自适应优化器 FARO,引入投资组合理论的等风险贡献原则(ERC)跨块分配更新预算。在 FineWeb 上训练 GPT 架构模型时,FARO-Adaptive 达到 3.2780 nats,追平人工最优配方 NorMuonAndAdam(3.2794 nats)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。