Apple 通过潜在空间知识蒸馏压缩流式神经音频编码器

Apple 研究人员提出通过量化前潜在空间知识蒸馏压缩端侧流式神经音频编码器，以降低设备端听写功能的内存与延迟开销。该方法训练学生编码器在均方误差目标下回归教师模型的逐帧潜在特征，并以单层仿射层解决宽度不匹配问题。在 2.8x 压缩下，学生模型无需微调即可在 6 组测试中的 5 组将相对 WER 差距控制在 1.9% 以内，较同容量独立训练模型相对提升 3.9%。