如何减少 Whisper 语音识别模型的幻觉问题

该研究提出了一种通过将易幻觉文本合成为正样本语音来抑制 Whisper 幻觉的方法，避免了单纯添加无语音音频导致的真实语音误删问题。作者收集了 100 种语言的 40,891 个幻觉短语并构建了基准测试，最佳微调模型将静音环境下的幻觉率从 61.9% 降至 2.4%，同时将真实短语召回率从 69.8% 提升至 82.7%。相关评测基准、幻觉词表和合成语料已开源。