arXiv 自然语言处理· Sivaraaman Balakrishnan, Prakriti Shetty, Jeremiah Hong, Hamed Zamani, Haw-Shiuan Chang·· 11 時間前AI スコア35
COMPREHEND：通过蕴含层次结构实现超细粒度基准评测理解
COMPREHEND: Ultra-Fine-Grained Benchmark Understanding by Entailment Hierarchy
未翻訳のため中国語で表示しています。
AI ガイド
COMPREHEND 提出通过构建超细粒度蕴含层次结构，用完整句子替代聚类名称来精准解析提示词分布与大语言模型弱点。在 WildBench 评测中，相比 EvalTree，该方法将蕴含/忠实度指标从 22.6 提升至 41.7，信息量指标从 16.3 提升至 39.1。其生成的缺陷报告能更有效预测基准响应得分，全部代码已开源。
出典：arXiv 自然语言处理 · arxiv.org