arXiv 自然语言处理· Lingfei Qian, Yan Wang, Xueqing Peng, Yupeng Cao, Yuechen Jiang, Zhuohan Xie, Anke Xu, Wenbo Cao, Jiarui Chen, Zehan Li, Jimin Huang, Alejandro Lopez-Lira, Yuehua Tang, Sophia Ananiadou, Jian-Yun Nie·· 6 時間前AI スコア48
LLM 不知道自己知道什么：面向金融回测的时间自我认知评测基准 FinDendro
LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting
未翻訳のため中国語で表示しています。
AI ガイド
研究提出评测基准 FinDendro，涵盖 1999 至 2026 年间 2,226 个美国金融事实，用于检验 LLM 在金融回测中的时间自我认知能力。测试显示前沿模型普遍低估自身知识，GPT-5 正确回答了 76% 的对照事实，却自称仅了解 38%，并答对了 61% 其声称不知道的事实。结果表明，金融回测无法仅凭模型自我报告、提示词指令或官方宣称的知识截止时间来确保无数据泄露。
出典：arXiv 自然语言处理 · arxiv.org