arXiv 机器学习· Nilushika Udayangania, Kishor Nandakishora, Marimuthu Palaniswami·· 2 小时前AI 评分35
学会记忆：面向紧凑型循环神经网络的记忆保留知识蒸馏
Learning to Remember: Distilling Memory Retention for Compact Recurrent Neural Networks
AI 导读
研究人员提出面向时间序列分析的知识蒸馏框架 MemKD，用于构建轻量高效的紧凑型循环神经网络。该框架通过专用损失函数捕获教师与学生模型在时间序列子序列上的记忆保留差异，引导学生模型有效模仿教师行为。实验表明，MemKD 性能显著优于现有 SOTA 知识蒸馏方法，在大幅缩减参数量与内存占用的同时维持了高准确率。
来源：arXiv 机器学习 · arxiv.org