AIDC
← 返回全部动态
IT之家 · AI 筛选AI 评分 68/10009月26日 18:18

Epoch AI 推出家具组装基准测试 FAB:评估多模态模型空间推理与找错能力

Epoch AI 开展了家具组装基准测试(FAB),旨在评估多模态大模型在现实物理装配过程中的视觉与空间推理能力。测试要求模型结合官方 PDF 安装说明书、图像放大工具及代码解释器,对比故意错误组装的宜家家具照片并定位错误。结果显示,前沿多模态模型在该基准上的准确率已达 80%,展现出较强的多步骤指令匹配与实际场景检错潜力,对家电、汽车检修等实际应用具有参考价值。

推荐理由通过宜家家具组装场景检验多模态模型的空间与流程推理能力,是贴近真实实用场景的评测基准。

原标题:让 AI 学会“挑刺”:根据说明书 + 照片指出家具是否装错,OpenAI GPT-6 Astra 准确率已达 80%

阅读 IT之家 · AI 筛选 原文 ↗