arXiv 自然语言处理· Sivaraaman Balakrishnan, Prakriti Shetty, Jeremiah Hong, Hamed Zamani, Haw-Shiuan Chang·· 12 hours agoAI score35
COMPREHEND：通过蕴含层次结构实现超细粒度基准评测理解
COMPREHEND: Ultra-Fine-Grained Benchmark Understanding by Entailment Hierarchy
Not yet translated; shown in Chinese.
AI guide
COMPREHEND 提出通过构建超细粒度蕴含层次结构，用完整句子替代聚类名称来精准解析提示词分布与大语言模型弱点。在 WildBench 评测中，相比 EvalTree，该方法将蕴含/忠实度指标从 22.6 提升至 41.7，信息量指标从 16.3 提升至 39.1。其生成的缺陷报告能更有效预测基准响应得分，全部代码已开源。
Source:arXiv 自然语言处理 · arxiv.org