音频大语言模型多模态语音情感识别的不一致性感知评估

一项新研究提出连续无阈值的不一致性评分方法，评估发现文本内容与语音语调不一致会显著增加音频大语言模型在语音情感识别中的错误率。在 eNTERFACE'05、MELD 和 CMU-MOSEI 三个语料库对三款音频模型的评测表明，识别受阻源于模型融合多模态证据的方式而非信号本身。相关代码、数据表与提示词已开源。