arXiv 自然语言处理· Wenyu Du, Stephen Chung·· 9 小时前AI 评分38
CopyLoop：通过上下文复制与浅层筛选加速 Looped Transformer 解码
CopyLoop: Fast Looped Transformer Decoding via Context Copying and Shallow Screening
AI 导读
CopyLoop 是一种免训练解码算法，通过上下文复制提议、浅层筛选与连续循环调度加速 Looped Transformer。在 Ouro、Raven 和 Huginn 家族 6 个模型检查点测试中，它相比全深度自回归解码在 Base 模型上实现 2.98x-10.70x 加速，Thinking 模型上达 2.74x-3.52x 加速。该方法仅需轻量校准，在含可重用上下文的长生成任务中加速更显著。
来源：arXiv 自然语言处理 · arxiv.org