arXiv 自然语言处理· Man-Ling Sung, Hemanth Kandula, Jeff Ma, William Hartmann, Matthew Snover·· 5 小时前AI 评分35
SAUCE:基于对话蕴涵的摘要分析评估流程
SAUCE: Summary Analysis Using Conversation Entailment
AI 导读
研究者推出无需参考摘要的跨语言对话语音摘要评估流程 SAUCE,通过对话与文本间的蕴涵关系衡量摘要的准确性与事实覆盖率。与黑盒 LLM 评估器不同,SAUCE 将得分映射到离散的可验证事实以精确定位模型幻觉与遗漏,并能有效捕捉转录和翻译错误导致的信息损失。初步研究显示,该评估方法与人类判断高度一致。
来源:arXiv 自然语言处理 · arxiv.org