arXiv 自然语言处理· Xinnian Zhao, Chia-Hua Wu, Pu Wang, Hugo Van Hamme·· 5 小时前AI 评分35
面向文本兼容 Speech-to-LLM 桥接预训练的局部原型重构（LPR）
Local Prototype Reconstruction for Text-Compatible Speech-to-LLM Bridge Pretraining
AI 导读
针对 Speech-to-LLM 系统的接口兼容性问题，研究人员提出了轻量训练正则化方法局部原型重构（LPR）。LPR 要求每个对齐的 bridge token 可由冻结 LLM token 嵌入向量的小邻域重构，以保障局部词汇流形兼容性。在多语言 ASR 与语音翻译评测中，LPR 显著提升了迁移能力，并在翻译和低资源适配任务上取得最大收益。
来源：arXiv 自然语言处理 · arxiv.org