跳到正文
原文
arXiv 自然语言处理· Cantao Su, Anna Wegmann, Esther Ploeger, Dong Nguyen·· 3 小时前AI 评分40

用嵌入向量衡量数据多样性:评估指标分类与基准 EmbDivBench

Measuring Data Diversity with Embeddings: A Taxonomy and Benchmark for Diversity Measures

AI 导读

研究人员提出了涵盖 21 种基于嵌入向量的多样性指标分类法,并推出评估基准 EmbDivBench,在模拟和自然文本数据上评估多样性指标。实验表明,最常用的平均两两距离指标在多样性表现上落后于多种替代方案,而图熵在各项综合表现中最佳。该研究已被 EMNLP 2026 主会接收,并开源了代码与数据。

来源:arXiv 自然语言处理 · arxiv.org