热点事件持续更新
研究提出基于SVD的KV缓存压缩参数高效微调新方案
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月9日，arXiv发布的一项机器学习研究提出了一种基于SVD的KV缓存（KV cache）压缩参数高效微调方案。该研究指出，在对学习率进行单独调优的前提下，采用“冻结Decoder且仅修复Encoder”的方法能够达到与其他方案相当的精度，同时减少3倍的可训练参数以及3倍的优化器状态显存开销。该结论在视觉语言模型Qwen2.5-VL-3B-Instruct以及两个纯文本骨干网络上均得到了验证。此外，研究还揭示了在共享学习率的设定下对比参数量差异较大的微调方案，会导致虚假的性能优势。
AI 根据报道生成 · 3 小时前更新
最新进展10月9日 12:00
研究提出冻结Decoder仅修复Encoder的SVD KV缓存微调方案，可缩减3倍参数与显存。报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv 机器学习冻结 Decoder 修复 Encoder：基于 SVD 的 KV cache 压缩参数高效微调
在基于 SVD 的 KV cache 压缩中，冻结 decoder 且仅修复 encoder 在单独调优学习率后能达到与其他方案相当的精度，并减少 3x 可训练参数与 3x 优化器状态显存。该结论在视觉语言模型 Qwen2.5-VL-3B-Instruct 及两个纯文本骨干网络上均得到验证。研究同时揭示，在共享学习率下对比参数量差异大的微调方案会产生虚假性能优势。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。