研究团队提出FlagRot优化低比特KV缓存

1. 13:00
   arXiv 自然语言处理

   FlagRot：面向低比特 KV Cache 的选择性旋转方法

   研究团队提出 FlagRot，针对每 32 通道片段选择性旋转以降低低比特 KV cache 量化误差，读取时则旋转 query。在 2.5 比特下，FlagRot 将 KIVI 的 12 模型 KL 散度从 18.7×10^-3 降至 12.4×10^-3，在 9 个模型上优于 RotateKV。

Current heat 6·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.