arXiv 自然语言处理· Saibo Geng, Andrea Gentilini, Xinxian Ma, Nathan Ranchin, Yunzhen Yao, Robert West·· 8 小时前AI 评分43
zip2zip++：迈向极小质量损失的推理期 token 压缩
zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss
AI 导读
研究人员提出 zip2zip++ 方案，无需修改底层预训练语言模型，即可在推理期大幅弥合基于 LZW 的动态词表 token 压缩带来的质量损失。该方法通过解耦输入与输出动态嵌入层、引入尺寸感知 RoPE 定位，以及支持选择性合并与多视角切分的改进 LZW 编解码器解决性能瓶颈。在 4 个模型上的评测显示，该方案在通用文本保持相近压缩比的同时，弥合了约一半质量差距，并提升了数学推理准确率。
来源：arXiv 自然语言处理 · arxiv.org