arXiv 自然语言处理· Jessica Yang, Marcelo Beramendi Caballero, Ju-Chieh Chou, Karen Livescu·· 3 小时前AI 评分34
通过知识蒸馏构建通用局部语音特征提取器
Toward a Universal Local Speech Feature Extractor Through Distillation
AI 导读
研究人员通过从 HuBERT、data2vec 和 WavLM 蒸馏，构建了一个两层的通用局部语音特征提取器，以替代自监督语音模型中高开销的 CNN 层。SUPERB(-SG) 基准评测表明，该提取器基本保留了教师模型的性能，并可用于未见过的 wav2vec 2.0 模型。该特征提取器仅需原 CNN 3% 的 MACs，使整体推理运行时间减少超过 20%。
来源：arXiv 自然语言处理 · arxiv.org