Hugging Face·· 1 天前AI 评分52
AI2 发布长文本状态追踪基准 StateBench
StateBench: Testing how language models track state changes over long documents
AI 导读
AI2 推出长文本状态追踪评测基准 StateBench,用于测试大语言模型在长文档中持续跟踪实体状态变化的能力。基准基于 Krohn–Rhodes 理论将复杂度划分为 r-trivial、非周期(aperiodic)、可解(soluble)与一般有限(general finite)四个等级,并开源了技术报告、数据集与代码。
来源:Hugging Face · huggingface.co