如何构建现代扩散语言模型

针对主流自回归大语言模型（LLM）逐 token 顺序生成导致 GPU 算力利用不足且无法修改错误的问题，离散扩散语言模型通过从噪声序列迭代去噪实现并行生成。该机制能实现每秒数千 token 的生成速度，具备内置纠错与可控生成能力，开辟了推理期计算扩展的新路径。目前该技术已扩展至数十亿参数规模，涵盖生物序列与自然语言建模。