热点事件持续更新
研究者提出Soft-MTP训练方法优化多Token预测
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
针对标准多Token预测（MTP）中梯度残差干扰学习的问题，研究人员于2026年10月提出了无需新增参数的Soft-MTP训练方法。该方法通过单行代码改动仅反向传播KL自蒸馏信号，兼容DeepSeek与Meta风格。评测显示，在167M至1.2B参数规模下，Soft-MTP均降低了NTP困惑度，并提升了推测解码速度与零样本准确率；在1.2B规模模型微调后，展现出更强的数学和代码推理能力。目前该研究的相关代码已开源。
AI 根据报道生成 · 2 小时前更新
最新进展10月30日 12:00
研究人员提出无需新增参数的Soft-MTP方法并开源代码，可降低困惑度并提升推理能力。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv 机器学习多 Token 预测（MTP）的正确实现方式
针对标准多 Token 预测（MTP）梯度残差干扰学习的问题，研究人员提出无需新增参数的 Soft-MTP，通过单行代码改动仅反向传播 KL 自蒸馏信号。该方法兼容 DeepSeek 与 Meta 风格，在 167M 至 1.2B 规模下均降低了 NTP 困惑度，提升了推测解码速度与零样本准确率。其在 1.2B 微调后展现出更强数学与代码推理能力，代码已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。