arXiv 机器学习· Zongpu Zhang, Yishu Yin, Xuehai Qian·· 8 時間前AI スコア39
LayerLoom：推理优先的层粒度 LoRA 协同服务
Inference First, Training Underneath: Layer-Granular LoRA Co-Serving with LayerLoom
未翻訳のため中国語で表示しています。
AI ガイド
研究团队提出 LayerLoom 协同服务架构，将 LoRA 微调反向任务以层粒度挂载至推理前向传播，避免微调阻塞突发推理请求。该系统通过跨层错开微批次、将激活状态卸载至主机内存，并借助融合算子单次读取基础权重完成计算。在 RTX 4090 上运行 Llama-3.1-8B 时，其联合 SLO 达标率提升 13.5-21.8 个百分点，微调吞吐量最高提升 12%。
出典：arXiv 机器学习 · arxiv.org