亚马逊与杜克大学提出大模型极端稀疏监督后训练方法

2026年10月，杜克大学与亚马逊发布最新联合研究成果。该研究发现在大模型后训练的在线策略蒸馏（OPD）中，采用极端稀疏监督依然能够显著提升模型的推理能力。实验表明，即便每条生成轨迹仅保留1到2个token的梯度信号（稀疏程度低至0.025%），模型在数学与代码推理上的性能不仅能够匹配甚至超过全密集监督训练，其最终表现甚至超越了教师模型本身。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。