热点事件持续更新
研究团队提出面向稀疏MoE模型的KV缓存压缩方法MoEZip
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月23日,研究团队在arXiv发布论文,提出面向稀疏MoE大语言模型的路由感知KV缓存压缩方法MoEZip。针对KV驱逐易改变专家路由的问题,该方法结合基于路由分布Fisher信息矩阵的敏感度指标与注意力权重对上下文进行评分。实验结果表明,在10%的KV保留率下,MoEZip在LongBench和RULER基准测试中较SOTA基线平均提高24分和20分,得分分别达到基线的2.3倍与4.9倍。
AI 根据报道生成 · 6 小时前更新
最新进展10月23日 12:00
研究团队提出MoEZip,在10% KV保留率下于LongBench和RULER测试中大幅超越SOTA基线。报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv 机器学习MoEZip:面向稀疏 MoE 大语言模型的路由感知 KV cache 压缩
MoEZip 是一种面向稀疏 MoE 大语言模型的路由感知 KV cache 压缩方法,旨在解决 KV 驱逐改变专家路由的问题。该方法结合基于路由分布 Fisher 信息矩阵的敏感度指标与注意力权重进行上下文评分。在 10% 的 KV 保留率下,MoEZip 在 LongBench 和 RULER 较 SOTA 基线平均提高 24 和 20 分,得分分别达 2.3 倍与 4.9 倍。
本事件热度走势
当前热度 8·可比范围峰值 10(10月23日 13:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。