热点事件持续更新
研究提出新型LoRA初始化方法以稳定非对称学习率训练
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
针对大模型微调中 LoRA 采用非对称学习率易引发训练不稳定与性能崩溃的问题，2026年10月26日 arXiv 刊载的研究提出了一种改进的初始化方法。该方案将矩阵 A 的方差缩放设定为 $\sigma_A^2 \propto n^{-2}$，并继续保持 $B_0=0$。该方法将初始化噪声能量额外降低了 $1/n$ 倍，在保持初始适配器输出为 0 的同时，大幅拓宽了稳定的学习率区间。实验结果表明，这种初始化方式能够有效防止高比例崩溃现象发生，使得 $\eta_B \approx n \eta_A$ 能够作为实用的参数设定起点。
AI 根据报道生成 · 4 小时前更新
最新进展10月26日 12:00
研究提出将矩阵A方差缩放为n^-2的LoRA初始化方案，有效拓宽稳定学习率区间。报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv 机器学习重新审视 LoRA 初始化：实现鲁棒的非对称学习率
针对 LoRA 非对称学习率易引发训练不稳定与性能崩溃的问题，研究提出将矩阵 A 方差缩放为 $\sigma_A^2 \propto n^{-2}$ 且保持 $B_0=0$ 的初始化方法。该方法将初始化噪声能量额外降低 $1/n$ 倍，在保持初始适配器输出为 0 的同时大幅拓宽稳定学习率区间。实验表明其能防止高比例崩溃，使 $\eta_B \approx n \eta_A$ 成为实用的设定起点。
本事件热度走势
当前热度 9·可比范围峰值 10（10月26日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。