arXiv 机器学习· Songyuan Sui, Srikanth Malla, Chiho Choi, Joon Hee Choi·· 5 小时前AI 评分38
每个用户都需要私有 LoRA 吗？将个性化与单用户适配解耦
Does Every User Need a Private LoRA? Decoupling Personalization from Per-User Adaptation
AI 导读
研究提出 LINEUP 框架，通过可复用的共享低秩因子库与条件组合机制，将大语言模型的个性化表达能力与单用户训练状态解耦。该方法使每个目标用户仅需优化 8 个标量参数，远低于私有 LoRA 的 419 万参数，且共享组件保持冻结。在覆盖分类、预测和生成的 6 项任务中，LINEUP 在全部 12 项指标上均取得领先，LaMP-3 RMSE 相对最强基线降低 11.4%。
来源：arXiv 机器学习 · arxiv.org