arXiv 自然语言处理· Auss Abbood, Fernando Mart\'inez-Plumed, Jos\'e Hern\'andez-Orallo, Nigel Collier·· 3 小时前AI 评分34
计时与理解时间:二者均无法单独解释 LLM 的时间推理能力
Keeping Time vs. Understanding Time: Neither Alone Explains Temporal Reasoning in LLMs
AI 导读
一项针对 LLM 时间推理的研究发现,将能力划分为时间算术与时间语义的传统二分法缺乏实证支持,二者均无法单独解释模型表现。在特定子集微调仅带来 +6.8 至 +23.1 个百分点的数据集特定增益,同模式跨数据集迁移仅为 -3.2 至 +1.1 个百分点。评估进一步证实,驱动基准表现的核心是先验知识,而非数量与逻辑推理。
来源:arXiv 自然语言处理 · arxiv.org