Skip to content
Hot storiesContinuously updated

研究者提出小模型长上下文记忆评测基准SRRM

1 reports1 reporting sourcesUpdated 4 hours ago

Start here

AI overview

2026年11月5日,研究人员在arXiv发布研究,提出轻量基准SRRM与记忆保留比率(MPR),用于联合评估小语言模型的目标检索与全局信息重构能力。在对Qwen2.5的0.5B、1.5B与3B模型进行评测后发现,Qwen2.5-1.5B取得了最高的86.7%检索准确率、45.7%重构表现和0.53的MPR,测试结果全面超越3B模型。评测还表明,小模型的重构性能下滑速度远快于检索性能,且参数量的增加并不必然提升长上下文的记忆保留能力。

AI-generated from reports · Updated 4 hours ago

Report timeline

Follow the reports to see different sides of the story.

Nov 5
  1. arXiv 自然语言处理
    SRRM:评估小语言模型长上下文记忆的检索-重构基准

    研究人员提出轻量基准 SRRM 与记忆保留比率 MPR,联合评估小语言模型的目标检索与全局信息重构能力。在 Qwen2.5 的 0.5B、1.5B 与 3B 模型评测中,Qwen2.5-1.5B 取得最高的 86.7% 检索准确率、45.7% 重构表现和 0.53 的 MPR,全面超越 3B 模型。结果表明重构性能下滑远快于检索,且参数量增加不必然提升长上下文记忆保留能力。

Story heat trend

Current heat 9·Comparable peak 10(Nov 5 14:00)·Comparable change, last 24 hours–

02.557.510Nov5Nov5Nov5Nov5

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.