基于参考音频的全双工语音语言模型轮替风格迁移

研究人员发现全双工语音语言模型深层残差流中存在一个“主动性向量”，无需训练或标注即可从对话中提取并控制话轮转换风格。该向量能提前最多 800 ms 预测发言时机，在生成时缩放可将语音占比从原本的 21-30% 调整至 6-12% 或 42-61%。基于简短的参考录音即可实现向特定说话人的轮替风格迁移，错换参考会导致 93-98% 的情况下匹配变差。