LoRA 中的秩决定了什么？低秩适配的谱与分布分析

一项理论研究表明，在常见范数约束下，LoRA 中的秩 $r$ 并不像传统认知那样控制模型容量，其模型复杂度与分布偏移上界在 $r \ge 1$ 时均与秩无关。研究指出秩的实际作用体现在统计和谱分析层面，决定了更新的可达范围以及抵消预训练权重主奇异方向所需的自适应代价。