arXiv 人工智能· Mingkang Liu, Peipei Jiao, Weiming Meng, Tianyuan Liu, Lichen Pang, Junyan Li·· 7 小时前AI 评分35
UniCompress:将多 LoRA 专家压缩为面向边缘智能的单个紧凑模型
UniCompress: From Multi-LoRA Experts to One Compact Model for Edge Intelligence
AI 导读
UniCompress 提出了一种将多任务 Multi-LoRA 专家转换为单个无 adapter 紧凑模型的部署框架。该方法以 BF16 Qwen3-VL-4B 为教师模型构建非对称 INT2 学生模型,将权重存储从 8.9 GB 压缩约 76% 至 2.1 GB。在四个具身任务上,其宏任务得分比 GPTQ-INT2 提升 34.3 个百分点,与 BF16 教师模型差距在 0.9 个百分点内。
来源:arXiv 人工智能 · arxiv.org