arXiv 人工智能· Liancheng Fang, Zhuowei Li, Youngeun Kim, Tianchen Zhao, Rajat Koner, Jiaye Wu, Linghan Xu, Xuanbai Chen, Xiang Xu, Zheng Zhang, Jakub Zablocki, Nishant Sankaran, Yifan Xing·· 5 小时前AI 评分39
ALoDLM：自适应循环扩散语言模型
ALoDLM: Adaptively Looped Diffusion Language Models
AI 导读
研究人员提出 ALoDLM，采用 token 自适应潜在循环机制按难度动态分配计算量，以缩小扩散语言模型与自回归模型的质量差距。该研究训练了 1.7B 和 8B 参数规模的模型，在 11 个基准测试中的平均得分均超越被评估的扩散模型及对应自回归基线。同时模型保留了快速并行解码能力，在优化推理引擎下展现出出色的质量与效率权衡。
来源：arXiv 人工智能 · arxiv.org