arXiv 机器学习· Paul Raj, Simon Caldwell, Daniel Whitmore, Mutlu Mete·· 5 小时前AI 评分33
DuplexTune：面向 MoE 模型显存高效自适应的耦合状态重放
DuplexTune: Coupled-State Replay for Memory-Efficient Mixture-of-Experts Adaptation
AI 导读
DuplexTune 提出了一种通过预训练注意力与专家模块重放耦合隐藏状态的框架，以实现显存高效的 MoE 模型微调。在单张 H800 上的 Qwen1.5-MoE-A2.7B 评测中，其峰值显存从基线的 64.8 GB 降至 38.8 GB，吞吐量由 19.9 升至 25.1 samples/s。
来源：arXiv 机器学习 · arxiv.org