arXiv 自然语言处理· Christopher Alberto Hamonangan·· 4 小时前AI 评分35
SRRM：评估小语言模型长上下文记忆的检索-重构基准
SRRM: A Retrieval-Reconstruction Benchmark for Evaluating Long-Context Memory in Small Language Models
AI 导读
研究人员提出轻量基准 SRRM 与记忆保留比率 MPR，联合评估小语言模型的目标检索与全局信息重构能力。在 Qwen2.5 的 0.5B、1.5B 与 3B 模型评测中，Qwen2.5-1.5B 取得最高的 86.7% 检索准确率、45.7% 重构表现和 0.53 的 MPR，全面超越 3B 模型。结果表明重构性能下滑远快于检索，且参数量增加不必然提升长上下文记忆保留能力。
来源：arXiv 自然语言处理 · arxiv.org