arXiv 自然语言处理· Shu Ishida, Aliasghar Khani, Tianyu Zhang, The Cong Luong, James Seale Smith, Adam Gaier·· 8 小时前AI 评分35
AutoIndexer：通过编辑链训练因果模型实现灵活顺序解码
AutoIndexer: Flexible-Order Decoding by Training Causal Models on Chains of Edits
AI 导读
研究人员提出生成模型 AutoIndexer，通过模拟“编辑链”（Chain of Edits）机制，使模型能像文本编辑器一样在事后灵活执行 token 插入、替换和删除。该方法利用逆向编辑扰动真实标签进行训练，让模型学会撤销扰动，具备应对错误上下文的鲁棒性并适用于代码修正等任务。该方案在不牺牲标准 LLM 基准性能的前提下，实现了多数自回归和扩散模型欠缺的生成后上下文编辑能力，代码已开源。
来源：arXiv 自然语言处理 · arxiv.org