arXiv 人工智能· Jia Wei, Ziyi Qiu, Yi Xu, Xuehai Qian·· 7 hours agoAI score41
FlexFloor:通过弹性专家并行实现资源高效的强化学习后训练
Resource-Efficient Reinforcement Learning Post-Training through Elastic Expert Parallelism
Not yet translated; shown in Chinese.
AI guide
研究人员提出 FlexFloor 系统,通过弹性专家并行在强化学习后训练中提前释放计算资源,解决 MoE 响应生成瓶颈。该系统结合历史响应长度与显存约束调度批处理和提示词分配,在维持专家计算可用的同时逐步释放节点。相比 verl 基准,FlexFloor 使单位占用计算时间的响应 token 产出提升约 65.40%,吞吐量提高 52.74%。
Source:arXiv 人工智能 · arxiv.org