arXiv 自然语言处理· Patrick Haller, Filipe Laitenberger, Alan Akbik·· 3 小时前AI 评分37
PACE：基于周期性与通道对齐编码的4-bit循环状态量化方法
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
AI 导读
研究人员提出事后4-bit状态量化器PACE，通过每生成数个token仅舍入一次状态并配合小型缓冲区，降低循环状态的累积误差。PACE针对gated-delta状态按列共享量化缩放因子，并将长久保留舍入误差的注意力头维持在8-bit。在4B至35B参数的四个混合模型上，其显存占用仅约为8-bit DAMP的三分之二且表现相当，全4-bit配置得分高于同显存下的Q-Mamba。
来源：arXiv 自然语言处理 · arxiv.org