跳到正文
原文
AITNT · AI头条(网页)·· 2 小时前AI 评分47

阿里千问提出 TRACE:实现稳定 FP4 强化学习,Rollout 最高加速 5.4 倍

FP4 W/A+FP4 KV的强化学习也能「又快又稳」:阿里千问提出TRACE,Rollout最高加速5.4倍

AI 导读

阿里千问联合俄亥俄州立大学提出 TRACE,通过用 Rollout 侧真实 FP4 量化结果指导训练侧舍入,解决了 MoE 模型在 FP4 强化学习中的策略偏差与训练崩溃问题。在 Qwen3.5-35B-A3B 等模型测试中,TRACE 在联合 FP4 W/A 与 FP4 KV Cache 下将性能恢复至接近 BF16 水平,并在 128K 输出时实现最高 5.4 倍解码吞吐提升。

来源:AITNT · AI头条(网页) · aitntnews.com