arXiv 自然语言处理· Yuxuan Zhou, Junyuan Shang, Tianyu Wang, Chunrui Zheng, Zichang Liu, Wenbin Chang, Shuohuan Wang, Dianhai Yu·· 6 小时前AI 评分39
ECHO：超越辅助多 token 预测的高效因果自递归
ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
AI 导读
研究人员提出高效因果自递归架构 ECHO，通过让主干网络最终层直接预测所有跨度，消除了多 token 预测对额外辅助模块与多次前向传递的依赖。该方法结合动态深度采样，能以训练所有深度一半的 MTP 开销将更深跨度转化为推理和代码等任务的下游准确率。在推理阶段，模型可作为自身投机草稿器，并在开放式高熵生成中保持草稿与目标的一致性。
来源：arXiv 自然语言处理 · arxiv.org