arXiv 人工智能· Shenghui Li, Thiemo voigt·· 5 小时前AI 评分34
受限预算下的 LoRA:面向 Adapter 集群的功能感知事后压缩
LoRA on a Budget: Function-Aware Post-Hoc Compression for Adapter Fleets
AI 导读
针对多 LoRA adapter 集群在共享预算下的事后压缩难题,研究提出无标签的功能秩分配(FRA)方法,通过构建功能秩-失真前沿实现跨层与跨 adapter 的极小化极大秩分配。FRA 采用端到端测量与动态规划搜索,并结合互补谱提议以降低功能搜索误差。在来自 3 个公开集群的 78 个 adapter 测试中,FRA 在受限预算下显著提升了最差情况与长尾效用。
来源:arXiv 人工智能 · arxiv.org