arXiv 自然语言处理· Dengzhe Hou, Lingyu Jiang, Deng Li, Zirui Li, Fangzhou Lin, Kazunori D Yamada·· 14 小时前AI 评分44
WMIP：受工作记忆启发的大语言模型累积状态追踪可编程探针
WMIP: A Working-Memory-Inspired Programmable Probe of Cumulative State Tracking in Large Language Models
AI 导读
研究人员推出受工作记忆启发的可编程探针 WMIP，用于评测 LLM 的累积状态追踪能力。在 18 款 LLM 测试中，单步算术准确率为 84.9%，但面对 3 至 7 次更新的核心题目准确率跌至 31.7%，50 次更新以上时准确率均低于 10%。在要求写出中间步骤的输出协议下核心准确率可达 88.0%，目前生成器、题目与评测代码已开源。
来源：arXiv 自然语言处理 · arxiv.org