arXiv 自然语言处理· Rong Huang, Yi Xiong, Yuan-Yuan Cheng, Xiao-Ming Fu·· 6 小时前AI 评分33
面向参数高效微调的分层低秩重参数化方法
Hierarchical Low-Rank Reparameterization for Parameter-Efficient
AI 导读
研究者提出一种面向 PEFT 的分层低秩重参数化方法，通过将可训练参数重组成近似方阵并递归进行低秩分解，大幅削减参数冗余。该方法结合 LoRA、DoRA、MoSA 及 RaSA，在 LLaMA-3.1-8B 和 Qwen2.5-7B 的常识推理及 GSM8K 数学推理评测中取得更好表现。在原始参数量压缩约一个数量级时，其在 8 个常识推理基准上的平均准确率仍超越对应基线。
来源：arXiv 自然语言处理 · arxiv.org