基于 Seq-Drifting 的单步文本生成研究

研究者提出 Seq-Drifting 框架，将漂移机制应用于连续 token 表示序列，通过单次前向传播直接实现高斯噪声到完整文本序列的映射。该方法通过动态自适应的漂移场提供吸引与排斥监督，在推理时一次性联合生成所有 token，并在 LM1B 上取得 36.01 的单步生成困惑度。实验表明其在无条件生成、翻译、摘要和 reasoning 任务中均表现出竞争力，相关代码已开源。