arXiv 自然语言处理· Amirhossein Vahdat, Thierry Badard, Luc Lamontagne·· 7 小时前AI 评分34
GeoFitBench-LLM：评估大语言模型地理分析数据需求获取能力的基准
GeoFitBench-LLM: A Benchmark for Assessing Large Language Models' Capabilities in Geospatial Data Requirements Elicitation for Geo-Analytic Tasks
AI 导读
研究者推出了 GeoFitBench-LLM 基准，用于评估大语言模型从自然语言地理分析请求中推断所需数据集、支持资源及约束的能力。该基准围绕时空关系推理与语义定位两个维度构建，采用固定且独立于提供商的模式编码真实需求。在最小提示词下对 7 款模型的测试显示，GPT-5.4 Thinking 表现最佳，在 66.67% 的请求中完整找回所需资源。
来源：arXiv 自然语言处理 · arxiv.org