arXiv 自然语言处理· Yosuke Higuchi, Tom Fizycki, Mahi Luthra, Charles-\'Eric Saint-James, Azeez Syed, Angel Villar-Corrales, Mido Assran, Nicolas Ballas, Jiayi Shen, Dongyan Lin, Phillip Rust, Surya Parimi, Vanessa Stark, Alexandre Allauzen, Bal\'azs Kegl, Juan Pino, Emmanuel Dupoux·· 21 hours agoAI score59
GSLM2 论文发布：基于多流语音表征的生成式语音语言模型
GSLM2: Multi-Stream Speech Representation Learning and Generative Spoken Language Modeling
Not yet translated; shown in Chinese.
AI guide
研究团队提出生成式语音语言模型 GSLM2，通过多流语音表征学习打破纯语音模型在语言理解能力与扩展效率上的瓶颈。系统采用 SpidR 2.0 编码器自监督学习多层级离散单元，并通过多流 SLM 联合建模跨流依赖，最大训练规模达到 600 万小时音频与 6.5B 参数。
Source:arXiv 自然语言处理 · arxiv.org