通过表示几何正则化缓解大语言模型自我提升中的能力退化

针对在线自蒸馏（OPSD）导致大语言模型前期习得能力逐步退化的问题，研究人员提出了表示几何正则化（RGR）。该方法通过增强类内紧凑性与类间分离度来维持隐藏表示的几何结构，无需修改核心优化流程即可无缝集成到现有 OPSD 方法中。多项基准测试表明，RGR 能在保留模型能力提升的同时有效缓解能力退化，相关代码已开源。