X-Dubbing：时间与视觉约束下的语音到语音翻译

研究提出 X-Dubbing 跨语言配音系统，将其建模为时间感知语音到文本翻译与视觉感知文本到语音的联合问题。该方法由生成时序结构台本的 Dubbing Translator 与视频同步渲染的 Voice Actor 组成，并引入配音感知反馈优化翻译。系统无需成对配音数据，在等时性（isochrony）和音画对应等多项指标上超越近期基准。