研究提出FinDendro金融基准 揭示大模型时间自我认知缺陷
Start here
2026年11月5日,相关研究提出了面向金融回测的时间自我认知评测基准FinDendro。该基准涵盖1999年至2026年间的2,226个美国金融事实,旨在检验大语言模型在金融回测中的时间自我认知能力。测试显示前沿模型普遍存在低估自身知识的情况,例如GPT-5正确回答了76%的对照事实,却自称仅了解38%,且答对了61%其声称不知道的事实。该研究结果表明,金融回测无法仅凭模型自我报告、提示词指令或官方宣称的知识截止时间来确保不存在数据泄露。
AI-generated from reports · Updated 7 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理LLM 不知道自己知道什么:面向金融回测的时间自我认知评测基准 FinDendro
研究提出评测基准 FinDendro,涵盖 1999 至 2026 年间 2,226 个美国金融事实,用于检验 LLM 在金融回测中的时间自我认知能力。测试显示前沿模型普遍低估自身知识,GPT-5 正确回答了 76% 的对照事实,却自称仅了解 38%,并答对了 61% 其声称不知道的事实。结果表明,金融回测无法仅凭模型自我报告、提示词指令或官方宣称的知识截止时间来确保无数据泄露。
Story heat trend
Current heat 8·Comparable peak 10(Nov 5 14:00)·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.