arXiv 机器学习· Xinyu Luo, Jincheng Zhou, Mengbo Wang, Zilin Shen, Nadia Atallah Lanman, Petros Drineas, Bruno Ribeiro, Brian Bullins·· 5 小时前AI 评分38
Ori：面向超低秩大语言模型训练的感知漂移流式 k-PCA 优化器
Ori: Drift-Aware Streaming $k$-PCA for Very Low-Rank LLM Training
AI 导读
研究人员提出面向大语言模型训练的新型低秩优化器 Ori，通过感知梯度主方向随时间的缓慢漂移实现高精度训练。Ori 采用受 Oja++ 启发的流式 k-PCA 算法，支持低单步成本的高频实时子空间跟踪。在 1B LLaMA 预训练任务中，Ori 将低秩优化器与全秩优化器的性能差距缩小了最高达 69.3%，并在 Roberta-Base 微调的 16 个任务场景中夺得 10 个最佳表现。
来源：arXiv 机器学习 · arxiv.org