Skip to content
Hot storiesContinuously updated

研究团队提出大语言模型自适应优化器FARO

1 reports1 reporting sourcesUpdated 5 hours ago

Start here

AI overview

2026年11月2日，arXiv机器学习领域发布论文，研究团队提出了一种用于大语言模型的函数空间自适应优化器FARO。该优化器引入了投资组合理论中的等风险贡献原则（ERC），用于实现跨块分配更新预算。实验结果显示，在FineWeb数据集上训练GPT架构模型时，FARO-Adaptive达到了3.2780 nats，追平了人工最优配方NorMuonAndAdam取得的3.2794 nats水平。

AI-generated from reports · Updated 5 hours ago

Latest developmentsNov 2 13:00
研究团队提出自适应优化器FARO，在GPT模型训练中追平人工最优配方。

Report timeline

Follow the reports to see different sides of the story.

Nov 2
  1. arXiv 机器学习
    FARO：基于跨块等风险贡献预算分配的函数空间自适应优化器

    研究团队提出大语言模型自适应优化器 FARO，引入投资组合理论的等风险贡献原则（ERC）跨块分配更新预算。在 FineWeb 上训练 GPT 架构模型时，FARO-Adaptive 达到 3.2780 nats，追平人工最优配方 NorMuonAndAdam（3.2794 nats）。

Story heat trend

Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–

02.557.510Nov2Nov2Nov2Nov2

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.