arXiv 自然语言处理· Shunsuke Mitsumori, Tomoya Mizumoto, Yusuke Fujita·· 7 小时前AI 评分35
基于合成伪方言数据增强构建方言鲁棒的语音语言模型
Dialect-Robust Speech Language Models with Synthetic Pseudo-Dialect Augmentation
AI 导读
针对语音语言模型（SLM）在方言场景的性能退化，研究提出利用 LLM 生成方言文本并经标准语言 TTS 合成伪方言语音，实现无需真实方言语音的数据增强。训练中同时引入中间标准文本预测进行语义归一化。在跨语言方言到英语语音翻译测试中，该方案将日语得分从 25.38 提升至 28.26，德语从 31.57 提升至 32.47，中文方言从 11.67 提升至 16.37。
来源：arXiv 自然语言处理 · arxiv.org