Hugging Face·· 19 hours agoAI score52
AI2 发布长文本状态追踪基准 StateBench
StateBench: Testing how language models track state changes over long documents
Not yet translated; shown in Chinese.
AI guide
AI2 推出长文本状态追踪评测基准 StateBench，用于测试大语言模型在长文档中持续跟踪实体状态变化的能力。基准基于 Krohn–Rhodes 理论将复杂度划分为 r-trivial、非周期（aperiodic）、可解（soluble）与一般有限（general finite）四个等级，并开源了技术报告、数据集与代码。
Source:Hugging Face · huggingface.co