arXiv 人工智能· Zhangming Li, Qinghao Hu, Weifan Guan, Yifan Zhang, Peisong Wang, Jian Cheng·· 2 小时前AI 评分39
NormTune：面向推理密集型任务的范数引导参数高效微调
NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks
AI 导读
研究提出的参数高效微调策略 NormTune，通过权重更新范数自适应强化更新不足的模型层，解决了 PEFT 在推理任务中的欠适配问题。在 S1K-1.1 上，NormTune 使 rank-8 的 LoRA、Bone 与 MoRA 在 AIME 等评测上的平均准确率分别提升 24.24%、11.33% 和 16.21%。
来源：arXiv 人工智能 · arxiv.org