研究者提出小模型长上下文记忆评测基准SRRM
Start here
2026年11月5日,研究人员在arXiv发布研究,提出轻量基准SRRM与记忆保留比率(MPR),用于联合评估小语言模型的目标检索与全局信息重构能力。在对Qwen2.5的0.5B、1.5B与3B模型进行评测后发现,Qwen2.5-1.5B取得了最高的86.7%检索准确率、45.7%重构表现和0.53的MPR,测试结果全面超越3B模型。评测还表明,小模型的重构性能下滑速度远快于检索性能,且参数量的增加并不必然提升长上下文的记忆保留能力。
AI-generated from reports · Updated 4 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理SRRM:评估小语言模型长上下文记忆的检索-重构基准
研究人员提出轻量基准 SRRM 与记忆保留比率 MPR,联合评估小语言模型的目标检索与全局信息重构能力。在 Qwen2.5 的 0.5B、1.5B 与 3B 模型评测中,Qwen2.5-1.5B 取得最高的 86.7% 检索准确率、45.7% 重构表现和 0.53 的 MPR,全面超越 3B 模型。结果表明重构性能下滑远快于检索,且参数量增加不必然提升长上下文记忆保留能力。
Story heat trend
Current heat 9·Comparable peak 10(Nov 5 14:00)·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.