arXiv 自然语言处理· Zhe Xu, Mingfu Liang, Kavosh Asadi, Jean-Pascal Billaud, Tianyi Chen, Yanhui Guo, Christina Huang, Baekjin Kim, Jimmy Kim, Yufei Li, Daqi Sun, Jiachen Sun, Dian Yu, Zaiwei Zhang, Kaushik Rangadurai, Frank Shyu, Sandeep Pandey, Xi Liu, Luke Simon·· 8 小时前AI 评分33
探索置换扩散大语言模型的设计空间
Exploring the Design Space of Permutation Diffusion LLMs
AI 导读
研究人员系统探索了用于置换生成的大语言模型扩散架构设计空间，对比了硬分配、双随机矩阵软分配以及直接预测排序得分三种参数化方案。在候选集规模为 10 和 20 的 3 个 Amazon 领域重排序评测中，硬分配与软分配在单次函数评估下达到了与受约束掩码扩散基线相当的 Recall@1。直接预测排序得分无需匈牙利算法或 Sinkhorn 归一化即可保证生成有效置换。
来源：arXiv 自然语言处理 · arxiv.org