arXiv 机器学习· Shaorong Zhang, Shiyuan Li, Longxuan Yu, Greg Ver Steeg·· 5 小时前AI 评分36
LatLM：具备延迟提交机制的行并行大语言模型
LatLM: Line-Parallel Language Models with Deferred Commitment
AI 导读
研究人员提出了网格语言模型 LatLM，通过将提交调度转变为自适应解码策略，解决了固定调度行并行模型因跨行依赖导致的过早提交与推理错误。在 482M 参数规模下，其自适应并行解码在独立行任务中仅用 25--41% 的解码轮数即可达到接近自回归模型的准确率。在混合依赖链任务中，LatLM 准确率达 96.5%，优于 LCLM 的 78.5%，且解码轮数不足自回归基线的一半。
来源：arXiv 机器学习 · arxiv.org