研究人员提出BiToK-SD大模型自蒸馏Token选择方法

2026年10月7日，研究人员在 arXiv 发布论文，提出了面向大语言模型在线策略自蒸馏的新方法 BiToK-SD。该方法通过双层优化自适应学习最有益于蒸馏的 token 位置。在架构设计上，BiToK-SD 将下层的 Top-K token 选择建模为可微阈值松弛，以跟随学生策略演化，并在上层对选定位置执行知识蒸馏。数学推理基准测试表明，该方法仅需轻量的额外计算开销即可取得最佳平均表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。