arXiv 自然语言处理· Hemant Yadav, Sunayana Sitaram, Roger Zimmermann, Rajiv Ratn Shah·· 6 小时前AI 评分34
DirectSpeech2LLM：缓解语音大语言模型提示词过拟合的端到端框架
DirectSpeech2LLM: A Simple End-to-End Framework to Mitigate Prompt Overfitting in Speech-LLMs
AI 导读
DirectSpeech2LLM 提出了一种端到端框架，通过在冻结的 LLM 嵌入矩阵上计算 CTC 损失提取对齐语音嵌入，缓解语音大语言模型的提示词过拟合。模型仅在 960 小时 LibriSpeech ASR 数据上训练，不仅 ASR 表现优于级联系统，还能零样本泛化至语音翻译和情感识别等未见任务。实验结果在两个 LLM 家族中保持一致，并可随数据与模型规模扩展。
来源：arXiv 自然语言处理 · arxiv.org