重新审视 LoRA 初始化：实现鲁棒的非对称学习率

针对 LoRA 非对称学习率易引发训练不稳定与性能崩溃的问题，研究提出将矩阵 A 方差缩放为 $\sigma_A^2 \propto n^{-2}$ 且保持 $B_0=0$ 的初始化方法。该方法将初始化噪声能量额外降低 $1/n$ 倍，在保持初始适配器输出为 0 的同时大幅拓宽稳定学习率区间。实验表明其能防止高比例崩溃，使 $\eta_B \approx n \eta_A$ 成为实用的设定起点。