arXiv 机器学习· Ryan Swift, Konstantinos Psounis·· 8 時間前AI スコア34
RAPID：通过随机方法提升内部蒸馏效率
RAPID: Increasing Efficiency of Internal Distillation via Randomized Methods
未翻訳のため中国語で表示しています。
AI ガイド
研究者提出 RAPID 内部蒸馏方法，利用随机投影消除传统方法中可学习投影矩阵的训练开销。该方法基于 Johnson-Lindenstrauss 引理将教师表示压缩至学生嵌入空间，并结合 EMA 与同方差不确定性加权设计多目标函数。在推理后训练实验中，RAPID 在保持相当性能的同时将训练效率提升最高达 21.1%。
出典：arXiv 机器学习 · arxiv.org