arXiv 自然语言处理· Yingzhuo Deng, Chong Li, Bingxin Liu, Yi Shu, Tianyu Peng, Can Xie, Siyao Song, Shuo Ren, Jiajun Zhang·· 9 小时前AI 评分40
CoSTA:用于高效语音对话模型的压缩语音 Token 自适应框架
CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
AI 导读
研究人员提出事后适配框架 CoSTA,通过解耦语音生成与合成的 token 空间,在保留原有分词器和解码器的同时降低语音对话模型的自回归序列长度。在双语语音对话基准测试中,CoSTA 在保持回复质量的前提下实现了约 1.7x 的语音 token 生成速度提升,并降低了全响应延迟与提高吞吐量。该方法支持跨架构迁移,且与低速率分词方法具备互补性。
来源:arXiv 自然语言处理 · arxiv.org