arXiv 机器学习· Yifan Yu, Yuqing Jian, Jisen Li, Yuezhou Hu, Tianyi Zhang, Xiaoxia Wu, Rui-Jie Zhu, Junxiong Wang, Zhongzhu Zhou, Fan Lai, James Zou, Chenfeng Xu·· 7 小时前AI 评分43
用于扩散语言模型的在线策略残差学习框架 ORL
On-Policy Residual Learning for Diffusion Language Models
AI 导读
研究人员提出面向扩散语言模型（DLM）的在线策略残差学习框架 ORL，通过动态学习模型生成的残差轨迹并引入熵收缩目标来锐化预测。在基于 Qwen3-4B 转换的 4B DLM 上，ORL 将单次前向生成 token 数量（TPF）提升最高 6.2 倍，配合 dlmrt 引擎实现端到端吞吐提升约 6.9x。
来源：arXiv 机器学习 · arxiv.org