跳到正文
热点事件持续更新

研究团队提出大语言模型自适应优化器FARO

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年11月2日,arXiv机器学习领域发布论文,研究团队提出了一种用于大语言模型的函数空间自适应优化器FARO。该优化器引入了投资组合理论中的等风险贡献原则(ERC),用于实现跨块分配更新预算。实验结果显示,在FineWeb数据集上训练GPT架构模型时,FARO-Adaptive达到了3.2780 nats,追平了人工最优配方NorMuonAndAdam取得的3.2794 nats水平。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv 机器学习
    FARO:基于跨块等风险贡献预算分配的函数空间自适应优化器

    研究团队提出大语言模型自适应优化器 FARO,引入投资组合理论的等风险贡献原则(ERC)跨块分配更新预算。在 FineWeb 上训练 GPT 架构模型时,FARO-Adaptive 达到 3.2780 nats,追平人工最优配方 NorMuonAndAdam(3.2794 nats)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。