研究团队推出大模型状态追踪探针WMIP并开源
Start here
2026年11月4日，研究人员推出受工作记忆启发的可编程探针WMIP，用于评测大语言模型（LLM）的累积状态追踪能力。在对18款大语言模型的测试中，模型在单步算术上的平均准确率为84.9%，但面对经历3至7次更新的核心题目时，准确率骤降至31.7%；在更新次数达到50次以上时，准确率均跌破10%。此外，测试表明在要求写出中间步骤的输出协议下，模型核心准确率可回升至88.0%。目前，WMIP相关的数据生成器、题目与评测代码已全部开源。
AI-generated from reports · Updated 8 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理WMIP：受工作记忆启发的大语言模型累积状态追踪可编程探针
研究人员推出受工作记忆启发的可编程探针 WMIP，用于评测 LLM 的累积状态追踪能力。在 18 款 LLM 测试中，单步算术准确率为 84.9%，但面对 3 至 7 次更新的核心题目准确率跌至 31.7%，50 次更新以上时准确率均低于 10%。在要求写出中间步骤的输出协议下核心准确率可达 88.0%，目前生成器、题目与评测代码已开源。
Story heat trend
Current heat 8·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.