arXiv 自然语言处理· Yeonju Kim, Bella Godiva, Se Jin Park, Yong Man Ro·· 9 小时前AI 评分59
全双工语音模型为何在长对话中崩溃
Why Full-Duplex Speech Models Collapse in Long Conversations
AI 导读
全双工语音模型因每帧都在生成 token，在长对话中会在数分钟内耗尽上下文窗口或出现退化、重复、沉默与胡言乱语。研究团队推出全双工长周期基准 FD-LHB，评估发现滑窗机制会因驱逐首个 KV 缓存条目并强化自身近期输出而引发崩溃。基于此提出的初始化锚点固定（IAP）与双工重复惩罚（DRP）两项策略，无需重新训练即可在长达 1 小时的回放中实时显著减少对话崩溃。
来源：arXiv 自然语言处理 · arxiv.org