arXiv 自然语言处理· Kunsheng Tang, Peigui Qi, Yide Song, Peijun Huang, Weiming Zhang, Nenghai Yu·· 9 小时前AI 评分42
GlitchPatch：通过局部重新分词修复冻结大语言模型中的 Glitch Token
GlitchPatch: Repairing Glitch Tokens in Frozen Language Models via Local Retokenization
AI 导读
研究人员提出 GlitchPatch 框架，通过离线构建替换规则表与在线局部重新分词，在不修改模型参数或内部状态的前提下修复冻结大语言模型中的 glitch token。涵盖 6 个分词器家族的 10 个模型实验显示，GlitchPatch 达到 85.10% 的平均修复率，超出最强基线 14.37 个百分点，并将平均 glitch 率从 14.88% 降至 2.27%。
来源：arXiv 自然语言处理 · arxiv.org