arXiv 自然语言处理· Rabindra Lamsal, Sisi Zlatanova, Xuesong Shen·· 7 小时前AI 评分33
IFC-MCQ：自动生成多选题基准以评估 LLM 智能体的 IFC 数据检索能力
IFC-MCQ: Automatically Generating Multiple-Choice Benchmarks for Evaluating LLM Agents on IFC Data Retrieval
AI 导读
研究人员提出 IFC-MCQ 方法，可从建筑信息交换标准 IFC 文件中自动生成多选题基准，实现对 LLM 智能体数据检索能力的精准评分。该分类体系涵盖 4 个组别的 15 个类别和 36 个子类型，答案与干扰项均基于文件内容或预定义规则构建。测试评估了基于工具与代码检索的两种智能体配置，为建筑工程领域提供了可扩展的评测方案。
来源：arXiv 自然语言处理 · arxiv.org