arXiv 人工智能· Baiyu Su, Runlong Liao, Lizhang Chen, Qiang Liu·· 1 天前AI 评分42
Rectified Language Flow(ReLF):基于整流流的文本生成语言模型
Rectified Language Flow
AI 导读
研究人员提出语言模型 Rectified Language Flow(ReLF),通过整流流将噪声映射至 token 嵌入以实现快速并行文本生成。该模型结合 Hellinger-SVD 固定嵌入、singular logits 与正则化 reflow 设计,在 OpenWebText 测试中仅需 64 次函数评估,生成困惑度便全面优于自回归基线。
来源:arXiv 人工智能 · arxiv.org