研究人员提出4-bit循环状态量化方法PACE

2026年10月22日，研究人员在arXiv上公布了事后4-bit状态量化器PACE。该方法用于降低循环状态的累积误差，通过每生成数个token仅舍入一次状态并配合小型缓冲区运作。技术细节上，PACE针对gated-delta状态按列共享量化缩放因子，并将长久保留舍入误差的注意力头维持在8-bit。在4B至35B参数规模的四个混合模型测试中，PACE的显存占用仅约为8-bit DAMP的三分之二且性能表现相当；其全4-bit配置在相同显存下的得分表现高于Q-Mamba。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。