arXiv 自然语言处理· Kunming Shao, Xijie Huang, Jierun Chen, Jiaqi Shao, Yanli Wang, Jiangnan Yu, Qiwei Li, Wei Zhang, Kwang-Ting Cheng, Chi Ying Tsui·· 19 小时前AI 评分43
FlagRot：面向低比特 KV Cache 的选择性旋转方法
FlagRot: Selective Rotation for Low-Bit KV Caches
AI 导读
研究团队提出 FlagRot，针对每 32 通道片段选择性旋转以降低低比特 KV cache 量化误差，读取时则旋转 query。在 2.5 比特下，FlagRot 将 KIVI 的 12 模型 KL 散度从 18.7×10^-3 降至 12.4×10^-3，在 9 个模型上优于 RotateKV。
来源：arXiv 自然语言处理 · arxiv.org