跳到正文
原文
Hacker News · AI· LarsDu88·· 4 小时前AI 评分56

Stanford 提出非自回归模型架构 NCM:推理速度最高达文本扩散模型的 31 倍

Non-autoregressive NC LLM spits tokens 21x faster than text diffusion

AI 导读

Stanford 研究团队提出非自回归语言模型框架 Next-Concept Modeling(NCM),通过多尺度离散码实现从粗到细的分层并行文本生成。在单张 NVIDIA H100 SXM 80GB GPU 实测中,NCM 在无条件生成和摘要任务上的生成速度比主流扩散模型快 10–31 倍,训练所需 token 数减少 4–5 倍。

来源:Hacker News · AI · hazyresearch.stanford.edu