arXiv 人工智能· Annan Zhang, Shengjie Song, Wenshuai Yao, Lihao Zhang, Tianmiao·· 15 小时前AI 评分35
基于重放契约与选择性保留的状态感知激活重计算
State-Aware Activation Recomputation with Replay Contracts and Selective Preservation
AI 导读
该研究提出基于重放契约与选择性保留的状态感知激活重计算方法,解决前向状态变动导致的重算不一致问题。其联合规划器在激活保留、整缓冲区快照与选择性区域保留间动态权衡显存与恢复开销;在 H100 稀疏写入工作负载的 44 GiB 显存预算下,使单步时间较 eager/whole 规划减少 18.16%,并在 32 GiB 预算下比固定区域方案提速 4.98%。
来源:arXiv 人工智能 · arxiv.org