arXiv 机器学习· Jayden Teoh·· 7 小时前AI 评分46
多 Token 预测(MTP)的正确实现方式
Multi-Token Prediction Done Right
AI 导读
针对标准多 Token 预测(MTP)梯度残差干扰学习的问题,研究人员提出无需新增参数的 Soft-MTP,通过单行代码改动仅反向传播 KL 自蒸馏信号。该方法兼容 DeepSeek 与 Meta 风格,在 167M 至 1.2B 规模下均降低了 NTP 困惑度,提升了推测解码速度与零样本准确率。其在 1.2B 微调后展现出更强数学与代码推理能力,代码已开源。
来源:arXiv 机器学习 · arxiv.org