IT之家 · AI 筛选·· 4 小时前AI 评分61
字节 Seed 团队论文揭示分块 KV 缓存压缩引发相位敏感性,导致长上下文性能漂移
字节 Seed 团队发现 DeepSeek“抽风”原因,长上下文可能性能漂移
AI 导读
字节 Seed 团队在 arXiv 提交论文,发现分块 KV 缓存压缩会引入位置相关的相位敏感性,导致长上下文检索性能出现周期性波动。研究评估了 DeepSeek-V4-Flash、DeepSeek-V4-Pro 以及 DeepSeek-V4.1-Flash,发现相同信息在不同压缩相位下的检索准确度差距最高可达 40 个百分点。该现象表明平均基准分数可能掩盖模型在长上下文场景下的周期性检索弱点。
来源:IT之家 · AI 筛选 · ithome.com