跳到正文
原文
arXiv 人工智能· Baiyu Su, Runlong Liao, Lizhang Chen, Qiang Liu·· 1 天前AI 评分42

Rectified Language Flow(ReLF):基于整流流的文本生成语言模型

Rectified Language Flow

AI 导读

研究人员提出语言模型 Rectified Language Flow(ReLF),通过整流流将噪声映射至 token 嵌入以实现快速并行文本生成。该模型结合 Hellinger-SVD 固定嵌入、singular logits 与正则化 reflow 设计,在 OpenWebText 测试中仅需 64 次函数评估,生成困惑度便全面优于自回归基线。

来源:arXiv 人工智能 · arxiv.org