本文へスキップ
ホットトピック継続更新中

研究团队提出大语言模型自适应优化器FARO

1 件の報道1 件の報道元11 時間前 更新

まずこの件を把握する

AI 概要

2026年11月2日,arXiv机器学习领域发布论文,研究团队提出了一种用于大语言模型的函数空间自适应优化器FARO。该优化器引入了投资组合理论中的等风险贡献原则(ERC),用于实现跨块分配更新预算。实验结果显示,在FineWeb数据集上训练GPT架构模型时,FARO-Adaptive达到了3.2780 nats,追平了人工最优配方NorMuonAndAdam取得的3.2794 nats水平。

AI が報道をもとに生成 · 11 時間前 更新

報道タイムライン

報道をたどり、出来事のさまざまな側面を知る。

11月2日
  1. arXiv 机器学习
    FARO:基于跨块等风险贡献预算分配的函数空间自适应优化器

    研究团队提出大语言模型自适应优化器 FARO,引入投资组合理论的等风险贡献原则(ERC)跨块分配更新预算。在 FineWeb 上训练 GPT 架构模型时,FARO-Adaptive 达到 3.2780 nats,追平人工最优配方 NorMuonAndAdam(3.2794 nats)。

このストーリーのホット度の推移

現在のホット度 7·比較可能範囲のピーク 10(11月2日 14:00)·直近24時間の比較可能な変化–

02.557.51011月2日14:0011月2日17:0011月2日21:0011月3日00:00

トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。