AIDC
← 返回全部动态
arXiv 自然语言处理AI 评分 60/10009月28日 12:00

Inquesto Score:针对语音智能体可靠性的全新评估协议

随着语音智能体被广泛部署在涉及交易和关键访问权限的高风险工作流中,行业对可复现、可解释的评估体系需求日益迫切。论文提出了 Inquesto Score(IS)评估协议,用于衡量语音智能体在固定测试集下的可靠性,即在不发生功能性故障或更严重错误的前提下达成呼叫者目标的通话比例。该协议定义了显式故障事件、严重性等级及管道时序故障评测标准。

推荐理由针对语音智能体在生产环境中可靠性评测缺失的问题提出了具体评估协议,对语音 AI 工程落地有一定参考价值。

原标题:Inquesto Score: A reliability Protocol For Voice Agents

阅读 arXiv 自然语言处理 原文 ↗

同一事件的其他来源

arXiv 人工智能09月28日 12:00

研究探讨音频大模型对其转录可靠性的自我感知能力

该论文研究了音频大语言模型(Audio LLMs)在输入语音严重失真时,能否识别出自身转录结果不可靠。实验发现,如果直接通过提示词让模型评估自身转录的可靠性,模型的判断表现很差,在绝大多数情况下都会盲目自信地预测转录是可靠的,这揭示了语音交互大模型在面对低质量输入时存在自我认知盲区的问题。