arXiv 自然语言处理· Hermann Kumbong, Ishan S. Khare, Iddah Mlauzi, Andrew Woen, Charles Ding, E. Kelly Buchanan, Simran Arora, Azalia Mirhoseini, Christopher R\'e·· 7 小时前AI 评分38
Next-Concept Modeling：快速并行的由粗到细文本生成
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
AI 导读
研究团队提出 Next-Concept Modeling（NCM），利用多尺度残差 VQ-VAE 与 Transformer 实现分层并行的由粗到细文本生成。在同等参数规模下，NCM 在 LM1B、OpenWebText 和 XSum 上比最强扩散语言模型分别提速 21x、10x 和 31x，质量更优或持平。在数独推理任务中，NCM 也以更少函数评估次数在所有难度超越了自回归与扩散基线。
来源：arXiv 自然语言处理 · arxiv.org