热点事件持续更新
研究团队提出面向大语言模型训练的低秩优化器Ori
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月19日，研究人员在arXiv公布了一篇研究，提出面向大语言模型训练的新型低秩优化器Ori。该优化器通过感知梯度主方向随时间的缓慢漂移来实现高精度训练，并采用受Oja++启发的流式k-PCA算法，支持低单步成本的高频实时子空间跟踪。测试数据显示，在1B LLaMA预训练任务中，Ori将低秩优化器与全秩优化器的性能差距缩小了最高达69.3%；在Roberta-Base微调的16个任务场景中，Ori在其中10个场景取得了最佳表现。
AI 根据报道生成 · 4 小时前更新
最新进展10月19日 12:00
研究团队提出低秩优化器Ori，在1B模型预训练中将与全秩优化器的差距缩小最高达69.3%。报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv 机器学习Ori：面向超低秩大语言模型训练的感知漂移流式 k-PCA 优化器
研究人员提出面向大语言模型训练的新型低秩优化器 Ori，通过感知梯度主方向随时间的缓慢漂移实现高精度训练。Ori 采用受 Oja++ 启发的流式 k-PCA 算法，支持低单步成本的高频实时子空间跟踪。在 1B LLaMA 预训练任务中，Ori 将低秩优化器与全秩优化器的性能差距缩小了最高达 69.3%，并在 Roberta-Base 微调的 16 个任务场景中夺得 10 个最佳表现。
本事件热度走势
当前热度 9·可比范围峰值 10（10月19日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。