arXiv 自然语言处理· Zhihan Yang, Wei Guo, Jean-Marie Lemercier, Simon Welker, Yonggan Fu, Mohammad Mahdi Kamani, Sajad Norouzi, Julius Berner, Tomas Geffner, Karsten Kreis, Yongxin Chen, Molei Tao, John Thickstun, Pavlo Molchanov, Ante Juki\'c, Arash Vahdat, Morteza Mardani·· 5 小时前AI 评分44
大语言连续扩散模型 Sigma
Large Language Continuous Diffusion Models
AI 导读
研究团队提出首个 3B/8B 规模的连续扩散语言模型 Sigma，基于低维 ODE/SDE 潜在轨迹构建并支持利用自回归权重热启动。在 GSM8K、HumanEval 以及微调后的 MATH-500 和 AIME 等基准上，Sigma 性能达到与主流离散模型相当水平。其连续轨迹特性不仅能优化 pass@k 表现，还支持低 NFE 下平滑降级与高效蒸馏。
来源：arXiv 自然语言处理 · arxiv.org