arXiv 自然语言处理· Ian Porada, Suraj Tripathi, Chaitanya Animesh, Leda Sari, Chaitanya Narisetty, Austin R. Matthews, Bohan Yu, Ramesh L. Thulasiram, Gregory Sell, Kean Chin, Dmitriy Genzel·· 2 小时前AI 评分35
OSynth：面向会议理解的纵向上下文敏感评测
OSynth: A Longitudinal, Context-Sensitive Evaluation of Meeting Understanding
AI 导读
研究人员推出大规模合成数据集 OSynth，包含 570 小时模拟组织会议音频及关联工件，用于评测纵向上下文敏感的会议理解能力。在两两对比测试中，人类评估者基于 150-300 词摘录区分 OSynth 与真实会议转录的准确率仅为 56%。在 SOTA LLM 评测中，补充上下文在多个实体敏感维度带来显著提升，展现出该数据集在构建会议理解系统中的应用价值。
来源：arXiv 自然语言处理 · arxiv.org